基础知识点
提出了一个基于卷积层的模型，能够实现同时编码，而循环神经网络计算受时间依赖性约束。
卷积神经网络模型具有的优点（为什么目前在机器翻译中最好的模型是双向循环神经网络，还要尝试用卷积神经网络解决问题的原因）：
1.卷积神经网络在一个输入序列固定大小窗口上计算，能够实现同时计算一个源句的所有特征，而RNN保留了整个过去的隐藏状态，因此不能够实现并行计算。
2.与RNN相比，一系列卷积层提供了捕获序列元素间关系的较短路径？，由于卷积神经网络得到的树结构使用固定数量的non-linearities，而RNN要根据时间步来确定non-linearities的数量，因此简化了学习。
Non-recurrent Encoders
Pooling Encoder（池编码器）
平均K个连续词的嵌入（不传达位置信息）+位置嵌入（编码句子中每个源词的绝对位置）
e j ( s o u r c e e m b e d d i n g ) = w j ( w o r d e m b e d d i n g ) + l j ( p o s i t i o n e m b e d d i n g ) e_j(source\ embedding)=w_j(word\ embedding)+l_j(position\ embedding) ej(source embedding)=wj(word embedding)+l
最低0.47元/天 解锁文章
4723
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
