NLP
ssf-yasuo
把博客当笔记本用了,私信和评论可能很久才会回复
展开
-
NLP学习笔记(9)
目前深度学习的NLP存在一些局限性,比如通过自监督学习学得一个很好的模型真正理解语言的奥义(需要大量的标注信息)第一个难题就是没有一个模型可以在所有的任务上取得好效果,之前提到的dynamic memory network就是为了来解决 这个问题的第二个难题是没有办法共享多任务之间的参数,也就是说没有办法用一个模型去jointly训练多任务下面这篇论文是为了解决上面这个问题的:其中第三...原创 2020-04-17 11:29:55 · 171 阅读 · 0 评论 -
NLP学习笔记(7)
QA系统希望一个QA系统能同时完成:回答问题、语义分析、词性标注三个任务有两个难点,一个是在这三个任务上各自表现效果好的模型不同,也就是说没有一个模型能同时很好地完成者三个任务;第二个是,在NLP中并没有发现在一个任务中训练得到的权重能够适用于另一个领域,唯一能共享成功的也只有词向量。我们用一个动态记忆网络来解决第一个问题 ...原创 2020-04-17 08:19:21 · 119 阅读 · 0 评论 -
NLP学习笔记(8)
这节课的内容看得太快而且有点难,所以这里只是做一下记录,并不详细,作为一个内容的索引,事后需要自己取搜论文了解细节这是一个想改进tree LSTM的模型有人用基于字符的模型,也有人用基于单词的模型,还有人用两者混合模型。基于字符的模型总的来说效果没有基于单词好而且比较慢。基于字符的模型有很多理论,很多方法。有基于字母三元组的模型,有基于字符的LSTM,也有对字符进行字节编码的模型等等。基...原创 2020-04-16 17:11:35 · 186 阅读 · 0 评论 -
NLP学习笔记(6)
我们希望把多个单词组成的短语同样在词向量的空间中找到对应的向量,当然你也可以在不同的空间中,但是如果在同一空间中是有好处的 ,我可以利用该空间捕捉到短语与单词之间意思的相似度,比如the man on the snowboard 和 snowboarder。但是你不可能为每一个短语定义一个向量,即使为每一个单词定义一个词向量都不能完全实现,所以为了实现在这个空间中找到这个意思对应的向量,我们要借...原创 2020-04-12 19:52:57 · 191 阅读 · 0 评论 -
NLP学习笔记(5)
传统的语音识别模型需要建立一个generative模型,从语言模型中产生单词序列,然后产生tokens(音标)序列,然后产生语音序列(时域或频域的声音序列),然后是计算得到一些特征(信号处理专家给出计算方法),这样当语音序列进来的时候,就会被换算成同样的特征,然后逆流而上搜索对应的Y 如果把上述的每一个元件都用神经网络来实现,会发现神经网络在每一个步骤都做得比传统方法要更好但我们希望能做到端...原创 2020-04-10 11:30:56 · 251 阅读 · 0 评论 -
NLP学习笔记(4)
不要在RNN的水平方向使用dropout(虽然有人这么做,但是是用特殊的方法的),但是经常在垂直方向使用dropout初始化参数的时候,LSTM的forget gate的bias给1或2确保不会一开始就遗忘,然后其它的参数要初始化为很小的值,否则网络就会训练不起来,初始化很重要。初始化为正交矩阵是一个很好的选择MT的评价指标,可以人工评价,但是成本比较高而且比较慢。还有一种用得比较多的叫B...原创 2020-04-08 17:03:16 · 167 阅读 · 0 评论 -
NLP学习笔记(3)
NMT(nerual machine translation)任务经常被描述为一个encode-decode过程,输入序列利用RNN进行encode产生一个编码(包含句子的语义信息),将这个编码送进decode的RNN产生target的语言序列,这就完成了端到端的MT。decode的RNN的输入,有的人设计为只需要该RNN前一个预测的单词,即编码只在第一个时序的RNN单元输入,后面就作为隐状态传...原创 2020-04-08 09:10:27 · 135 阅读 · 0 评论 -
NLP学习笔记(2)
如果你的数据集比较小,最好不要自己训练词向量,容易过拟合,直接download别人在某些语料库上训练好的词向量fix下来比较好但是如果你的数据集比较大,你可以随机初始化你的词向量并且在训练过程中训练他们window classification是最简单的NLP问题之一,你只是把语料库中用一个window圈起来几个单词,然后预测中间那个单词的类别,可以是情感分析,也可以是地点、时间、人名这些,...原创 2020-04-04 22:16:01 · 157 阅读 · 0 评论 -
NLP学习笔记(1)
实现word2vec 的方法包括skip gram 和 continuous bag of words(CBOW)模型skip gram模型这是skip gram模型,中间dx1的向量就是单词的representation vcv_cvc,Vx1的向量是对所有单词出现在某个单词的语境中的可能性,其中的第o行是uoTvcu_o^Tv_cuoTvc,表示U这个矩阵的第o行和vcv_cvc...原创 2020-03-24 23:15:22 · 337 阅读 · 0 评论