- 博客(7)
- 收藏
- 关注
原创 Ch7. Example 7-3 Surname Generation
本例使用了GRU来进行文本生成,并简单介绍了其原理,强调了门控制在长短程记忆以及梯度控制上的优势。待解决的问题:利用输入的名字生成新名字,文本生成任务。数据维度变化有制约和无制约的差别Conditioned和Unconditioned,我的翻译不知准不准确。文本生成的一大特点就是,预测结果可以被“诱导”,本例中,如果在GRU细胞中加入embedded后的“国家”隐藏层,则会大...
2019-09-19 03:18:36
157
原创 Ch6. Example 6-1 Surname Classification with RNN
本例开始使用NLP中的经典结构-RNN。首先构建了ElmanRnn(其实pytorch自带这个网络,作者为了读者能更清楚的了解RNN的结构,所以额外构造了它),在此基础上搭建分类器。待解决的问题:根据人名识别所属国家目录网络结构和数据维度Column gather 函数代码笔记网络结构和数据维度Column gather 函数1. 这个函数很有意思,配合RNN...
2019-09-18 04:27:54
167
原创 Ch5. Example 5-3 Document Classification with Pretrained Embeddings
本例以Ex. 5-2为基础,采用预训练好的词向量Glove来进行迁移学习,重要性不言而喻,是很多NLP项目的基础。自行编码和范例的结果基本相同。这个案例相对复杂,网络上使用了预训练的Embedding,卷积层,全连接线性层,Dropout方法,颇有承上启下的味道。故总结了网络结构和数据流,方便后期复习。待解决的问题:给定AGNews的新闻标题,对其进行分类:商业,政治,体育等。目录...
2019-09-16 23:46:29
145
原创 Ch5. Example 5-2 Continuous Bag of Words
embedding size对训练结果影响较大,嵌入层越大,准确率越高自己改进的代码和范本代码似乎总有差异,还需要细查。本例只有一个字典,即context_vocab,意味着训练样本和目标共享一个字典,而前三个案例针对样本和目标分别建立了字典。在Dataset初始化时,有两行新代码值得注意,它巧妙的利用了匿名函数lambda和映射函数map来求出语料中语句的最长长度。# Very...
2019-09-16 02:58:50
156
原创 Ch4. Example 4-4 Classify surnames with Convolutional Neural Network
祸莫大于不知足,咎莫大于欲得,故知足之足,常足矣。这是第4章的第二个案例,用卷积网络代替感知机来解决人名分类问题。代码笔记:1. 经过向量化后,数据的结构是怎样的?答:[batch_size, vocab_size, max_surname_length]2. 文本是一维数据,因此用的是一维卷积(在word-level上是一维卷积;虽然文本经过词向量表达后是二维数据,但是...
2019-09-14 22:21:44
109
1
原创 Ch4. Example 4-2 Classify surnames with Multi Layer Perceptron
吾有三宝,一曰慈,二曰俭,三曰不敢为天下先。慈固能勇,俭故能广,不敢为天下先,故能成器长。第4章围绕分类问题,介绍了两个简单模型,一是多层感知机,二是卷积神经网络。本文先介绍第一个模型,重点还在于代码剖析,补充书本遗漏的细节。要解决的问题:给定人名,判别该人名属于哪个国家。案例代码的整体结构和Example 3-1十分类似,在Classifier模块变化较大,引入了隐含层。...
2019-09-14 15:54:37
110
原创 Ch3. Example 3-1 Classifying Sentiment of Restaurant Reviews
本章开始正式讲解pytorch在NLP中的应用,也是全书中对代码讲解最为详细的一章,本章的模型仅使用一个感知机作为分类器,所以代码较为简单,但此后的章节均是以这套代码为基础进行扩展,所以务必对代码中的数据结构做到十分了解。代码笔记:1. 更新stop early的判断标准?答:loss本应持续下降,如果5个epoch的训练中,loss持续增大,则判定为偏离最优点,停止训练2. cl...
2019-09-11 01:42:50
137
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人