NLP
WYXHAHAHA123
这个作者很懒,什么都没留下…
展开
-
RNN循环神经网络
https://colah.github.io/posts/2015-08-Understanding-LSTMs/ RNN常常被用来处理序列问题。因为为了预测当前时刻的输出,不仅与当前时刻的输入相关,还与之前时刻的输入有关系(这里指的是单向循环神经网络),故而需要网络在之前时刻所产生的信息需要传送到下一个时间点。比如:为了输出一句话,当前时刻输出的单词不仅仅与当前时刻的输入...原创 2019-03-29 18:04:52 · 1084 阅读 · 0 评论 -
NLP入门(二):seq2seq之GRU实现机器翻译
https://github.com/bentrevett/pytorch-seq2seq/blob/master/2%20-%20Learning%20Phrase%20Representations%20using%20RNN%20Encoder-Decoder%20for%20Statistical%20Machine%20Translation.ipynbimport torch...原创 2019-03-29 21:22:36 · 2164 阅读 · 0 评论 -
NLP入门(三):seq2seq之GRU对齐文本和机器翻译
首先来回顾之前用到的两种seq2seq模型(sequence to sequence)(1)和(2)编码器结构完全相同,只不过(1)使用的是单向LSTM,(2)使用的是单向的GRU,二者的重要区别在于decoder部分。看RNN的输入,要看它左边的箭头(time step时间节点)和下面的箭头(与RNN的层数相关)。注意:编码器中时间节点t的hidden state用h(t)表示,...原创 2019-03-31 13:21:31 · 3050 阅读 · 8 评论 -
NLP入门(一):seq2seq之LSTM实现机器翻译
自然语言处理入门(一)从序列到序列的翻译任务'''https://github.com/bentrevett/pytorch-seq2seq/blob/master/1%20-%20Sequence%20to%20Sequence%20Learning%20with%20Neural%20Networks.ipynb'''#coding=gbkimport torchimport ...原创 2019-03-28 19:42:44 · 4820 阅读 · 0 评论 -
自然语言处理之LSTM和BERT模型
Transformer:attention is all you need在序列建模和序列翻译问题中经常使用的网络模型是RNN和LSTM,GRU。RNN处理序列问题时不能并行,将RNN作为解码器时,在第t个时间节点的prediction vector将与在t-1时刻的hidden state有关系,导致计算效率很低。所提出的transformer能够捕捉短时间的局部信息和长时间的单词依赖关系,...原创 2019-07-06 16:38:05 · 8660 阅读 · 2 评论