本文介绍了句法信息如何在机器翻译任务中提升模型效果，主要分为Encoder侧和Decoder侧的句法增强方法。Encoder侧通过修改模型结构如ON_LSTM和Tree Transformer来编码源句法。Decoder侧则通过多任务学习或结合句法结构如Sequence-to-Dependency NMT和Tree-based Decoder，使输出更符合句法约束。这些研究旨在使机器翻译更准确地捕捉和生成句法结构。
1. 最近有很多的工作都是在NMT任务中，让其考虑句法信息（源句法或者是目标句法）来提升模型的效果。所以接下来我就是稍微对这方面进行一些介绍（可能不是很全哦~可能理解比较片面）
2. 我们可以将其简单分为两类：Encoder侧加入句法，Decoder侧加入句法。
3. Encoder侧加入句法：主要是通过修改模型架构，使模型能够编码源句子的句法信息，使其获得的representation更加准确。例如ON_LSTM, Tree Transformer。
4. Decoder侧加入句法：方法又可分为两类，一类是句法作为额外任务进行输出（多任务），使整个模型具有获取句法的能力。另一类则是考虑将各种句法结构融入到Decoder中，使输出的句子更加符合句法约束。这里详细介绍一下第二类方法。感觉目前的文章就是在考虑有哪些句法结构可以表示句法，然后考虑将这个结构怎么与decoder结合起来。例如Sequence-to-Dependency Neural Machine Translation 利用基于转移的依存句法结构，所以其用额外的RNN预测动作序列（因为动作序列确定，所对应的依存结构就可确定）。
Top-down Tree Structured Decoding w
最低0.47元/天 解锁文章
扫一扫
432
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
