本文介绍了SCONES模型如何通过多标签任务来解决神经机器翻译中的歧义问题。传统的softmax方法可能导致合理翻译词的生成可能性被抑制，而SCONES采用每个单词的二分类任务，通过sigmoid和BCE损失函数避免了这一问题，提高了翻译质量和速度。
《Jam or Cream First?Modeling Ambiguity in Neural MachineTranslation with SCONES》
https://arxiv.org/pdf/2205.00704.pdf
前言
之前有负责过一个层级多标签分类的项目，所以对于由多分类到多标签的区别十分清楚，最近刷到这篇论文顿时来了兴趣，然后发现方法也十分简单，基本就是一个标准多标签任务的模式。尽管简单，但这样做并不是为花而花的“花板子”，其准确抓住当前机器翻译训练方式导致的问题——decoding过程中模型输出层的softmax抑制了“非ground truth但合理”词的生成可能性，而转化为多个二分类+sigmoid的常见多标签任务形式则正好避开了这一问题，所以重点就转移到了对如何拆分建模为多个二分类任务以及有效的多标签loss的设计。
从多分类到多标签
这里先快速介绍下多标签（multi-label）分类
最低0.47元/天 解锁文章
461
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
