【机器翻译】SCONES——用多标签任务做机器翻译

已于 2022-07-21 19:10:06 修改
阅读量591 收藏
点赞数
文章标签： 深度学习 机器翻译 自然语言处理
于 2022-07-21 18:15:43 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Tobi_Obito/article/details/125807630
版权
本文介绍了SCONES模型如何通过多标签任务来解决神经机器翻译中的歧义问题。传统的softmax方法可能导致合理翻译词的生成可能性被抑制，而SCONES采用每个单词的二分类任务，通过sigmoid和BCE损失函数避免了这一问题，提高了翻译质量和速度。
摘要由CSDN通过智能技术生成

《Jam or Cream First?Modeling Ambiguity in Neural MachineTranslation with SCONES》icon-default.png?t=M666https://arxiv.org/pdf/2205.00704.pdf

前言

之前有负责过一个层级多标签分类的项目，所以对于由多分类到多标签的区别十分清楚，最近刷到这篇论文顿时来了兴趣，然后发现方法也十分简单，基本就是一个标准多标签任务的模式。尽管简单，但这样做并不是为花而花的“花板子”，其准确抓住当前机器翻译训练方式导致的问题——decoding过程中模型输出层的softmax抑制了“非ground truth但合理”词的生成可能性，而转化为多个二分类+sigmoid的常见多标签任务形式则正好避开了这一问题，所以重点就转移到了对如何拆分建模为多个二分类任务以及有效的多标签loss的设计。

从多分类到多标签

这里先快速介绍下多标签（multi-label）分类的一种典型模式。

抛开模型结构，常见的单标签

最低0.47元/天 解锁文章
Tobi_Obito
关注
神经翻译笔记5扩展b. 常用的机器翻译技巧
Timson的NLP笔记本
08-11 492
文章目录神经翻译笔记5扩展b. 常用的机器翻译技巧组合解码单语数据应用重排序领域适配参考文献 神经翻译笔记5扩展b. 常用的机器翻译技巧 本节介绍提升机器翻译系统效果的常见手段。这些手段有些实际上是深度学习的通用技巧，有些在神经翻译出现后不久就被人提出，经过若干发展沿用至今，有些甚至在统计翻译时代就已出现。无论如何，这些手段独立于模型架构存在，都不仅能够增强模型效果，还展现了顽强的生命力以及良好的通用性 本节参考了Koehn的NMT综述13.6.1、13.6.3、13.6.7三小节的内容，并根据个人喜好作了
机器翻译模型Transformer代码详细解析
mijiaoxiaosan的博客
07-10 5万+
谷歌一个月前发了一篇论文Attention is all you need,文中提出了一种新的架构叫做Transformer，用以来实现机器翻译。论文发出不久，就有人用tensorflow实现了Transformer模型,本文对其代码进行细致的分析。
一文搞懂交叉熵在机器学习中的使用，透彻理解交叉熵背后的直觉
飞奔的蜗牛
06-23 352
收藏一篇简单易懂的博客《一文搞懂交叉熵在机器学习中的使用，透彻理解交叉熵背后的直觉》 传送门：https://blog.csdn.net/tsyccnh/article/details/79163834
借助nn.Transformer实现一个简单的机器翻译任务
wulele2的博客
03-23 4662
文章目录前言1、直接上手1.1. 构造transformer对象1.2. 准备前向传播的八个参数1.3. forward2、原理介绍2.1. 直观上介绍2.2. 内部原理介绍总结附 前言   首先贴上nn.Transformer官方介绍。网上有许多关于这个函数的解释，但道理我都懂，具体怎么实战我是一个也没找到。最直观的就是前向传播需要传入下图中的八个参数，具体怎么用，长啥样子着实让人摸不着头脑。因此本人自己实现了一个机器翻译的简单任务。贴上GitHub链接： https://github.com/wulel
Scones:Scones Web 服务系统（主题概念或命名实体）用于在目标文档上执行主题概念和命名实体标记
06-05
此 Scones 应用程序旨在与 Scones OSF（开放语义框架）Web 服务端点结合使用。 可以在此处找到有关该端点的更多信息： 是一个模块，它是一个用户界面，允许人们将文本文档发送到 Scones Web 服务端点，以在 OSF ...
SQL数据库——案例3_Northwind.doc
05-09
SQL数据库——案例3_Northwind.doc SQL Server 自带的 Northwind 数据库是一个常用的示例数据库，用于演示 SQL 语句的使用。在这个示例中，我们将学习如何使用 SQL 语句来解决各种业务问题。 查询所有库存数量介于...
matlab集成c代码-scones:选择预期的解释性SNP
05-22
：关于特征选择部分（即在处理了GWAS数据并为SNP评分之后），使用了不同的（更快的）maxflow解算器，该模型用Python编写，并且还包含了建议的多任务版本 杉山M. Azencott，D.Grimm，Y.Kawahara和K.Borgwardt（2014）...
CSS3的新特性：css响应式多列布局、断字
谁动了我的奶酪的博客
02-11 662
1. CSS响应式多列布局 有没有过要把一段文本分成多列显示的需求？ 可以把文本分别放在不同的元素中，然后分别添加样式。可是，纯粹为了添加样式而修改标记并不是值得提倡的。CSS多列布局规范描述了如何通过多列显示文本。比如以下标记： <main> <p>Lorem ipsum dolor sit amet, consectetur a...
【机器学习】信息量，信息熵，交叉熵，KL散度和互信息（信息增益）
haolexiao的专栏
04-12 2万+
首先先强烈推荐一篇外文博客Visual Information Theory这个博客的博主colah是个著名的计算机知识科普达人，之前非常著名的那篇LSTM讲解的文章也是他写的。这篇文章详细讲解了信息论中许多基本概念的来龙去脉，而且非常的直观用了大量的图片，和形象化的解释。 信息量信息量用一个信息所需要的编码长度来定义,而一个信息的编码长度跟其出现的概率呈负相关,因为一个短编码的代价也是巨大的,因为
简单的交叉熵损失函数，你真的懂了吗？
weixin_33738578的博客
06-19 5954
红色石头的个人网站：redstonewill.com 说起交叉熵损失函数「Cross Entropy Loss」，脑海中立马浮现出它的公式： 我们已经对这个交叉熵函数非常熟悉，大多数情况下都是直接拿来使用就好。但是它是怎么来的？为什么它能表征真实样本标签和预测概率之间的差值？上面的交叉熵函数是否有其它变种？也许很多朋友还不是很清楚！没关系，接下来我将尽可能以最通俗的语言回答上面这几个问题。 ...
机器翻译
weixin_40485502的博客
04-26 1009
1 模型 1.1 模型 1.2 RNN+Beam search+Attention 损失函数：交叉熵 预测：不使用解码器而是beam search #paddlepaddle from __future__ import print_function import os import six import numpy as np import paddle import paddle.f...
交叉熵代价函数（作用及公式推导）
热门推荐
Arthur-Chen的专栏
04-02 12万+
交叉熵代价函数（Cross-entropy cost function）是用来衡量人工神经网络（ANN）的输出值与实际值的一种方式。与二次代价函数（Quadratic cost function）相比，它能更有效地配合反向传播算法，促进ANN的训练。
理解机器翻译模型 Transformer
nicajonh的博客
06-16 2529
transformer是一种不同于RNN的架构，模型同样包含 encoder 和 decoder ，但是encoder 和 decoder 抛弃了RNN，而使用各种前馈层堆叠在一起。 Encoder： 编码器是由N个完全一样的层堆叠起来的，每层又包括两个子层(sub-layer)，第一个子层是multi-head self-attention mechanism层，第二个子层是一个简...
机器学习 - 交叉熵Cross Entropy
长风破浪会有时，直挂云帆济沧海
04-13 9158
机器学习 - 交叉熵Cross Entropy 1. 二值交叉熵 Binary Cross Entropy 假设训练数据 D={(x1,y1),(x2,y2),...,(xn,yn)}D={(x1,y1),(x2,y2),...,(xn,yn)}D = \{(x_1, y_1), (x_2, y_2), ..., (x_n, y_n)\} , 其中 x∈Rnx∈Rnx \in R^n ...
什么是机器翻译？（科普向）
算法码上来
08-17 2758
❤️点击上方，选择星标或置顶，每天给你送上干货❤️作者 | 韦阳出品 | 公众号：算法码上来（ID：GodNLP）- BEGIN-人类曾经联合起来兴建能通往天堂的高塔——巴别塔，为了阻止...
深度学习经典模型之LeNet-5
weixin_43775295的博客
11-05 367
​ LeNet-5是由LeCunLeCunLeCun提出的一种用于识别手写数字和机器印刷字符的卷积神经网络（Convolutional Neural Network，CNN）1^{[1]}1，其命名来源于作者LeCunLeCunLeCun的名字，5则是其研究成果的代号，在LeNet-5之前还有LeNet-4和LeNet-1鲜为人知。
深度学习面试八股汇总
最新发布
11-09 208
面试资料收集者之深度学习面试八股汇总
如何解决RNN在处理深层序列数据时遇到的如梯度消失、长期以来等问题
m0_73640344的博客
11-06 510
这些技术各自以不同的方式解决了RNN在处理深层序列数据时遇到的关键问题，如梯度消失和长期依赖。选择哪种技术取决于特定任务的需求，包括模型的复杂性、训练时间和性能要求。通过适当选择和配置这些改进的RNN架构，可以显著提高序列数据处理任务的效果和效率。
公安系统本体构建与SPARQL查询应用
遵循W3C的关联数据原则，通过建立统一数据模型，采用RDF（Resource Description Framework）描述数据，利用工具如Scones进行命名实体提取，Silk进行链接发现，RDFizer进行数据转换，从而设计出适用于公安系统的关联...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值