超级会员免费看
本文提出了一种改进的encoder-decoder模型RNNsearch，通过学习软对齐和翻译，解决了固定长度向量的瓶颈，特别是在处理长句子时性能显著提升。实验表明，RNNsearch在包含和不包含未知词的情况下，性能均优于传统RNN encoder-decoder，且展示了有效的对齐能力。
Abstract
这篇文章发表于2016年，那段时间比较流行的架构是encoder-decoder，比较典型的代表作包括：
- Sequence to Sequence Learning with Neural Networks
- Learning Phrase Representations using RNN Encoder-Decoder for Statistical Machine Translation
encoder-decoder架构的主要特点是：
- encoder将输入序列编码为固定长度的向量
- decoder解码向量生成目标序列
猜想
固定长度的向量是阻碍encoder-decoder结构性能提升的瓶颈
Proposal
对基础的encoder-decoder结构进行扩展，使其可以自动在输入序列中软搜索（soft-search）与当前要预测的目标词相关的部分，而不用硬性地将源序列中的这部分显式切分出来。作者将这种
订阅专栏 解锁全文
扫一扫
896
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
