![](https://img-blog.csdnimg.cn/20201014180756919.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
nlp
CharlesOyfz
这个作者很懒,什么都没留下…
展开
-
Seq2Seq模型
在自然语言处理的很多应用中,输入和输出都可以是不固定长度的序列。以机器翻译为例,例如:法语输入:Jane visite l’Afrique en septembre.(长度5)英语输出:Jane is visiting Africa in September.(长度6)Seq2Seq就是处理这种输入和输出不固定长度问题的模型,全称Sequence to Sequenc...原创 2019-06-13 16:51:28 · 459 阅读 · 0 评论 -
Beam Search集束搜索
在Seq2Seq解码部分中,常用到Beam Search。每个时刻它会保存b(beam size)个概率最大的选择作为当前的最佳选择,然后解码下一时刻时,继续选择和之前保存的b个选择组合起来后的概率最大的b个选择,依次循环迭代下去,直到编码结束。下面直接上图:在机器翻译中:法语输入:Jane visite l’Afrique en septembre.人工翻译:Jane vis...原创 2019-06-14 02:09:48 · 1348 阅读 · 0 评论 -
Attention注意力机制
Seq2Seq在开始Attention之前,我们先简单回顾一下Seq2Seq模型,传统的机器翻译基本都是基于Seq2Seq模型来做的,该模型分为encoder层与decoder层,并均为RNN或RNN的变体构成,如下图所示在encode阶段,第一个节点输入一个词,之后的节点输入的是下一个词与前一个节点的hidden state,最终encoder会输出一个上下文向量c(context),...原创 2019-06-25 23:58:54 · 1177 阅读 · 0 评论