1 encoder-decoder
主要摘自https://blog.csdn.net/xbinworld/article/details/54605408
编码:输入序列转化成固定长度的向量
解码:固定长度的向量转化成输出序列
不妨假设encoder模型和decoder模型都是RNN,
局限性:
编码器将整个序列的信息压缩到一个固定长度的向量中,导致语义向量无法完全表示整个序列的信息,而且先输入的内容携带的信息会被后输入的信息稀释掉
2 attention model
主要摘自:https://blog.csdn.net/xbinworld/article/details/54607525和https://blog.csdn.net/wangyanbeilin/article/details/81350683
https://blog.csdn.net/TG229dvt5I93mxaQ5A6U/article/details/78422216
根据博文中的例子
- 输入:Tom chase Jerry
- 输出:“汤姆”,“追逐”,“杰瑞”
- 问题:在翻译“杰瑞”的时候,应体现出英文单词对于翻译当前中文单词不同的影响程度
比较理想的情况应该是:
即attention函数会对每个输入生成一个分配系数,用来得到attention value
attention model的成本
需要为每个输入输出组会分别计算系数,50个单词的输入序列和50个单词的输出序列需要计算2500个系数。