- 博客(7)
- 收藏
- 关注
RSS订阅原创 Ch7. Example 7-3 Surname Generation
本例使用了GRU来进行文本生成，并简单介绍了其原理，强调了门控制在长短程记忆以及梯度控制上的优势。 待解决的问题：利用输入的名字生成新名字，文本生成任务。 数据维度变化 有制约和无制约的差别 Conditioned和Unconditioned，我的翻译不知准不准确。文本生成的一大特点就是，预测结果可以被“诱导”，本例中，如果在GRU细胞中加入embedded后的“国家”隐藏层，则会大...
2019-09-19 03:18:36
159
原创 Ch6. Example 6-1 Surname Classification with RNN
本例开始使用NLP中的经典结构-RNN。首先构建了ElmanRnn（其实pytorch自带这个网络，作者为了读者能更清楚的了解RNN的结构，所以额外构造了它），在此基础上搭建分类器。 待解决的问题：根据人名识别所属国家 目录 网络结构和数据维度 Column gather 函数 代码笔记 网络结构和数据维度 Column gather 函数 1. 这个函数很有意思，配合RNN...
2019-09-18 04:27:54
168
原创 Ch5. Example 5-3 Document Classification with Pretrained Embeddings
本例以Ex. 5-2为基础，采用预训练好的词向量Glove来进行迁移学习，重要性不言而喻，是很多NLP项目的基础。自行编码和范例的结果基本相同。 这个案例相对复杂，网络上使用了预训练的Embedding，卷积层，全连接线性层，Dropout方法，颇有承上启下的味道。故总结了网络结构和数据流，方便后期复习。 待解决的问题：给定AGNews的新闻标题，对其进行分类：商业，政治，体育等。 目录 ...
2019-09-16 23:46:29
145
原创 Ch5. Example 5-2 Continuous Bag of Words
embedding size对训练结果影响较大，嵌入层越大，准确率越高 自己改进的代码和范本代码似乎总有差异，还需要细查。 本例只有一个字典，即context_vocab，意味着训练样本和目标共享一个字典，而前三个案例针对样本和目标分别建立了字典。 在Dataset初始化时，有两行新代码值得注意，它巧妙的利用了匿名函数lambda和映射函数map来求出语料中语句的最长长度。 # Very...
2019-09-16 02:58:50
158
原创 Ch4. Example 4-4 Classify surnames with Convolutional Neural Network
祸莫大于不知足，咎莫大于欲得，故知足之足，常足矣。 这是第4章的第二个案例，用卷积网络代替感知机来解决人名分类问题。 代码笔记： 1. 经过向量化后，数据的结构是怎样的？ 答：[batch_size, vocab_size, max_surname_length] 2. 文本是一维数据，因此用的是一维卷积（在word-level上是一维卷积；虽然文本经过词向量表达后是二维数据，但是...
2019-09-14 22:21:44
109
1
原创 Ch4. Example 4-2 Classify surnames with Multi Layer Perceptron
吾有三宝，一曰慈，二曰俭，三曰不敢为天下先。慈固能勇，俭故能广，不敢为天下先，故能成器长。 第4章围绕分类问题，介绍了两个简单模型，一是多层感知机，二是卷积神经网络。本文先介绍第一个模型，重点还在于代码剖析，补充书本遗漏的细节。 要解决的问题：给定人名，判别该人名属于哪个国家。 案例代码的整体结构和Example 3-1十分类似，在Classifier模块变化较大，引入了隐含层。 ...
2019-09-14 15:54:37
110
原创 Ch3. Example 3-1 Classifying Sentiment of Restaurant Reviews
本章开始正式讲解pytorch在NLP中的应用，也是全书中对代码讲解最为详细的一章，本章的模型仅使用一个感知机作为分类器，所以代码较为简单，但此后的章节均是以这套代码为基础进行扩展，所以务必对代码中的数据结构做到十分了解。 代码笔记： 1. 更新stop early的判断标准？ 答：loss本应持续下降，如果5个epoch的训练中，loss持续增大，则判定为偏离最优点，停止训练 2. cl...
2019-09-11 01:42:50
138
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人