nlp
xy_free
nlp,cv,machine learning
微信:xy404338476
展开
-
seq2seq + attention 详解
seq2seq + attention 详解 作者:xy_free \qquad 时间:2018.05.21 1. seq2seq模型 seq2seq模型最早可追溯到2014年的两篇paper [1, 2],主要用于机器翻译任务(MT)。seq2seq本质上是一种encoder-decoder框架,以翻译任务中的“英译汉”为例,模型首先使用编码器对英文进行编码,得到英文的向量化表示S,然后使...原创 2018-05-21 20:35:02 · 35355 阅读 · 7 评论 -
最基础的seq2seq模型
Seq2seq(encoder + decoder) 最基础的一个seq2seq模型,参见paper “Sequence to Sequence Learning with Neural Networks” 代码如下: # coding = utf-8 # author = 'xy' """ model1: encoder + decoder we use Bi-gru as our...原创 2018-06-07 17:19:53 · 831 阅读 · 0 评论 -
beamsearch 实现(python)
beamsearch beamsearch 算是一种单模型的集成算法,在decoder端的每一步,不再是单纯的只生成一个token,而是beam_size大小的token,这样会生成beam_size个备选序列 而由beam_size个备选序列,继续向后扩展,会生成beam_size*beam_size个备选序列,对其进行截断,保留概率最大的beam_size备选序列 重复上述过程,直到达到...原创 2018-06-29 09:18:13 · 8106 阅读 · 0 评论 -
seq2seq with attention代码实现
seq2seq with attention代码实现 带有注意力的seq2seq模型理论,请参考:seq2seq + attention 详解 带有Luong attention 的seq2seq模型实现如下: # coding = utf-8 # author = 'xy' """ model2: encoder + attn + decoder we use Bi-gru as our...原创 2018-06-29 09:26:38 · 3201 阅读 · 0 评论