最终篇！AAAI 2022值得读的NLP论文盘点

©PaperWeekly 原创 · 作者 | 王馨月

单位 | 四川大学

研究方向 | 自然语言处理

机器翻译

1.1 FCL

论文标题：

Frequency-Aware Contrastive Learning for Neural Machine Translation

论文链接：

https://arxiv.org/abs/2112.14484

低频词预测在现代神经机器翻译（neural machine translation, NMT）系统中仍然是一个挑战。最近的自适应训练方法通过强调它们在整体训练目标中的权重来促进不常用词的输出。尽管低频词的召回率有所提高，但它们的预测精度却意外地受到自适应目标的阻碍。

这篇文章的作者提出了一种频率感知 token 级对比学习方法（Frequency-aware token-level Contrastive Learning method , FCL），其中每个解码步骤的隐藏状态都以基于相应词频的软对比方式推离其他目标词的对应物。作者在 NIST 中英和 WMT14 英德实证结果表明，本文提出的方法不仅可以显著提高翻译质量，还可以增强词汇多样性并优化单词表示空间。进一步的研究表明，与相关的自适应训练策略相比，本文的低频词预测方法的优势在于在不牺牲精度的情况下跨不同频率的 token 级召回的鲁棒性。

上图是令牌级对比学习（Token-level Contrastive Learning, TCL）和频率感知对比学习（Frequency-aware Learning, FCL）的示例。（a）TCL 对比批量目标标记的标记级隐藏表示 。对于第一个句子 中的锚点“gene”，它的正值有两个来源，即它的具有 dropout 噪声的对应物（由红色箭头表示）和 中的“gene”。（b）FCL 进一步利用 token 频率信息来应用频率感知软权重 进行对比。因此，相对不常见的标记（例如，“gene”和“alopecia”）之间的对比效果被放大，并且它们可以在表示空间中被进一步拉开。

TCL 的目标可以表示为：

FCL 的目标可以表示为：

上图是作者在 NIST Zh-En 和 WMT14 En-De 实验的主要结果。可以看出使用 TCL 和 FCL 都在各方面上有了显著提升。作者在原文中还对低频 token 的翻译质量、词汇多样性等方面的影响做了实验和探讨。

1.2 KoK

论文标题：

Non-Parametric Online Learning from Human Feedback for Neural Machine Translation

论文链接：

https://arxiv.org/abs/2109.11136

代码链接：

https://github.com/wangqi1996/KoK

这篇文章的作者针对机器翻译（NMT）任务提出了一种新的无需改变模型结构的非参数在线学习方法。该方法引入了两个 k-nearest-neighbor（KNN）模块：一个模块记忆人工反馈，即人工翻译提供的正确句子，另一个模块自适应地平衡历史人工反馈和原始 NMT 模型的使用。在 EMEA 和 JRC-Acquis 基准上进行的实验表明，作者提出的方法在翻译准确度上取得了显著提高，并以更少的重复人工校正操作实现了更好的适应性能。

上图是本文提出的 KNN-over-KNN（KoK）模型的整体架构，除了预训练的 NMT 模型外，它还使用两个 KNN 模块对最终翻译概率进行参数化。

在一个句子的翻译过程中，对于每个解码步骤 t，Token-KNN 将隐藏表示 作为查询，并从其数据存储中检索以生成翻译概率 pKNN。然后从Token-KNN 的检索结果中提取的特征作为 Policy-KNN 的查询来计算 值。最终的平移概率被计算为 pKNN 和 pNMT 与 之间的插值。