[文献阅读]—An Empirical Investigation of Word Alignment Supervision for Zero-Shot Multilingual NMT

最新推荐文章于 2022-07-03 23:58:29 发布
最新推荐文章于 2022-07-03 23:58:29 发布
阅读量179 收藏
点赞数
分类专栏： 文献阅读之家 文章标签： 深度学习 机器学习 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/jokerxsy/article/details/121995723
版权

前言

在这里插入图片描述
论文地址https://aclanthology.org/2021.emnlp-main.664.pdf

前人工作&存在问题

在多语言机器翻译中，前人通过1. 在source端开头加入language tag；2. 给token embedding加上language embedding来给模型提供语种信息。有两个缺点：

  • 语言信息不强，被忽略之后，target端翻译出错误的语种。（原文说的是对于没有见过的语言对的off-target问题）
  • 训练的稳定性不强

本文贡献

本文考虑language tag的情形。
利用对cross-attention模块得到的attention矩阵，和外部得到的对齐矩阵进行显式的对齐，加强对language tag的关注。

具体方法

第一步：对于训练样本source（M个token）-target（N个token），利用外部工具awesome-align得到MxN对齐矩阵。然后取出cross-attention模块的attention矩阵，给总的损失函数加入KL散度的监督（视一行为一个单词对其它所有单词的概率分布，最后需要对行取平均）

在这里插入图片描述

公式1 KL散度

在这里插入图片描述

公式2 总loss

attention矩阵需要经过softmax得到概率，由于对齐的稀疏性，文中使用α-entmax function代替之。
模型的输入是< target_language > source sentence + target sentence，因此可以选择三种外部对齐策略：source word-source word\language label-target word\两者结合

具体实验

TED benchmark上的supervised、zero-shot结果

3、4、5分别对应对齐策略1、2、3。
以2为baseline，发现3、4反而下降，5好！
在这里插入图片描述

图1 TED的结果

WMT2018 benchmark上的supervised、zero-shot结果

在高资源的情境下，bilingual(0)的效果最好，其它效果和TED差不多。

在这里插入图片描述

图2 WMT2018的结果

OPUS-100

虽然比不过MATT+LALN+LALT，但还是有效的。
在这里插入图片描述

图3 OPUS-100的结果

问题

  • word alignment也是一个研究方向：https://arxiv.org/abs/2101.08231
Muasci
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Jax Entmax Alpha激活函数
数学AI钢琴健美和乒乓球
01-07 1009
这篇文章介绍了一个叫做EntMax-α\alphaα的激活函数。当α=1\alpha=1α=1时，该激活函数成为了softmax，而α=2\alpha=2α=2时，则为sparsemax。这个研究在NLP领域倒是没有掀起什么风浪，但是在表格化挖掘却因为TabNet火了。 把这个作为例子，是一个很好的jax的使用练习。代码在这里。还在优化中。一些flax和jax的补充在并入到官方之前，可以在我的github找到。 绝对不保证实践正确。Use with caution。 不管怎么说，代码在这里。 import
An empirical investigation of a compact school day for first-grade children
06-29
An empirical investigation of a compact school day for first-grade children AN EMPIRICAL INVESTIGATION OF A COMPACT SCHOOL DAY FOR FIRST-GRADE CHILDREN’ FRANCIS X. ARCHAMBAULT, JR. AND DIETER H....
Transformers Assemble（PART IV）
Kaiyuan_sjtu的博客
02-24 2314
写在前面 Sparse Transformer from OpenAI，NAACL 2019 Adaptively Sparse Transformers，EMNLP2019 Generating Long Sequences with Sparse Transformers 来自OpenAI的工作，同样关注于原始Transformer的计算复杂度问题，尤其是在面对长序列输入的情况。为此，...
entmax:entmax映射及其损失，一系列稀疏的softmax替代方案
05-03
恩特马克斯 该软件包提供entmax和entmax损失的pytorch实现：稀疏的概率映射族和相应的损失函数，概括了softmax /交叉熵。 特征： 精确的部分排序算法，用于1.5-entmax和2-entmax（sparsemax）。 通用alpha-entmax的基于二等分的算法。 渐变wrt alpha，用于适应性的，学习的稀疏性！ 要求： python 3，pytorch> = 1.0（和pytest用于单元测试） 例子 In [ 1 ]: import torch In [ 2 ]: from torch . nn . functional import softmax In [ 2 ]: from entmax import sparsemax , entmax15 , entmax_bisect In [ 4 ]: x = torch . tensor ([ -
置换矩阵也能求导优化
Jie Qiao的专栏
03-04 909
置换矩阵也能优化 本文是对论文 Learning Latent Permutations with Gumbel-Sinkhorn Networks的阅读笔记。 很多时候我们都希望学习一个置换矩阵(permutation matrix)，用来找到一个合适的排序，或者解决一个指派问题，就是找到一个最优的分配策略，他可以用匈牙利算法在多项式时间内解决，然后这个问题是不可微的，也就不能放在神经网络中...
softmax、softmax损失函数、cross-entropy损失函数
zhaotun123的博客
01-27 4612
softmax softmax ，顾名思义，就是 soft 版本的 max。 在了解 softmax 之前，先看看什么是 hardmax。 hardmax 就是直接选出一个最大值，例如 [1，2，3] 的 hardmax 就是 3，而且只选出最大值，非黑即白，但是实际中这种方式往往是不合理的，例如对于文本分类来说，一篇文章或多或少包含着各种主题信息，我们更期望得到文章属于各种主题的概率值，而不是简单直接地归类为某一种唯一的主题。这里就需要用到soft的概念，即不再唯一地确定某一个最大值，而是为每个输出分类
Paper：《Pre-trained Models for Natural Language Processing: A Survey自然语言处理的预训练模型综述》翻译与解读
近期请国内外头部出版社可尽快私信博主！——心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，谦虚，自律，反思，成长，还算是比较正能量的博主，公益免费传播……内心特别想在AI界做出一些可以推进历史进程影响力的东西(兴趣使然，有点小情怀，也有点使命感呀)…
07-03 6459
​ Paper：《Pre-trained Models for Natural Language Processing: A Survey自然语言处理的预训练模型综述》翻译与解读 目录 Paper：《Pre-trained Models for Natural Language Processing: A Survey自然语言处理的预训练模型综述》翻译与解读 Abstract 1、Introduction 2、Background 3 Overview of PTMs—PT
EMNLP 2017 accepted papers
热门推荐
AI小白入门的博客
12-05 1万+
emnlp 接受论文列表地址:http://emnlp2017.net/accepted-papers.htmlEMNLP 2017共接收323篇论文。 其中216篇是长篇论文，107篇是短篇论文。详细如下： Accepted short papersGlobal Normalization of Convolutional Neural Networks for Joint Entity and
An empirical investigation of two variance estimation procedures for use with criterion-referenced tests
06-29
An empirical investigation of two variance estimation procedures for use with criterion-referenced tests Psychology in ihe Schools 1981, 18, 93-98 AN EMPIRICAL INVESTIGATION O F TWO VARIANCE ...
An Empirical Review of Deep Learning Frameworks for Change Dete
09-23
An Empirical Review of Deep Learning Frameworks for Change Detection Model Design, Experimental Frameworks, Challenges and Research Needs.zip
Teachers' ratings vs standardized tests: An empirical investigation of agreement between two indices of achievement
06-29
Teachers' ratings vs standardized tests: An empirical investigation of agreement between two indices of achievement Psychology in the Schools Volume 23, Januor 1986 TEACHERS’ RATINGS VS ...
an empirical investigation of the arbitrage pricing theory.pdf
09-06
Empirical tests are reported for Ross'[48] arbitrage theory of asset pricing. Using data for individual equities during the 1962–72 period, at least three and probably four priced factors are found ...
12.Session] Dual Sparse Attention Network For Session-based Recommendation论文解读
zhaozhiwei314的博客
05-10 652
一、提出背景 作者提了两个问题 以往工作直接用 last click item embedding 用来表示 current preference 不妥 session 中所有的 item 并不一定能反映用户偏好，有些交互可能是因为误触、浏览无关的促销广告等行为产生的 对于 问题1，例子如下 例子中使用最后一个 item 预测的物品集合里面不存在真实的 target item 解决方法： 论文提出了一个可学习的 embedding 用来刻画用户的 current preference，称为 targ
话题分割模型综述，看这一篇就够了(TBC)
jokerxsy的博客
01-26 4618
前言 本文总结了十多篇话题分割领域的论文的主要方法，并最后总结归纳了所有数据集、模型性能。 《Text Segmentation as a Supervised Learning Task》 原码解读：https://blog.csdn.net/jokerxsy/article/details/109237492 github链接： https://github.com/koomri/text-segmentation 数据集链接： https://www.dropbox.com/sh/k3jh0fjby
[文献阅读]—一篇不错的低资源机器翻译综述(Neural Machine Translation for Low-Resource Languages: A Survey)
jokerxsy的博客
12-06 3156
前言 论文地址：https://arxiv.org/abs/2106.15115v1 时间线 1947：Warren Weaver提出了机器翻译的可能性 1954：IBM发明了word-for-word翻译系统 技术 数据增强（data augmentation） 主要包含：1. 基于单词和短语替换产生伪平行语料的方法；2. 基于回译产生伪平行语料的方法；3. 基于多语言预训练模型挖掘平行语料的方法 基于单词、短语替换的数据增强（坑1） 利用双语词典，替换选定句子的所有单词或稀有词，产生对应翻译[119]
[文献阅读]——ERNIE-Gram: Pre-Training with Explicitly N-Gram Masked Language Modeling for NLU(TBC)
jokerxsy的博客
05-11 2522
引言 BERT的缺点: BERT的MLM关注细粒度文本单元的表示（word\subword\characters），而很少考虑粗粒度的语言学上的信息（命名实体\短语\中文的单词） 前人进一步的工作: 独立地掩膜、预测连续的n-grams（命名实体、短语、text spans） 本文的观点: 前人关于n-grams的工作忽略了n-grams内部的依赖 特别的，给定一个被掩膜的n-grams w={x1,x2,...xnx_1,x_2,...x_nx1​,x2​,...xn​},x∈VFx∈V_Fx∈
《Text Segmentation as a Supervised Learning Task》原码解读
jokerxsy的博客
10-23 2413
文章目录项目地址实操配置环境数据运行原码解读建立datasetinitgetitemlen建立dataloadercollate_fn模型的建立模型的计算流程明确输入extendsentence paddingsentence encoderdocument paddingdocument encoder输出总结接下去的工作 项目地址 Text Segmentation as a Supervised Learning Task 实操 这里介绍如何跑它的原码。 配置环境 python2.7 conda
TextTiling: Segmenting Text into Multi-paragraph Subtopic Passages阅读笔记
jokerxsy的博客
12-20 2094
#一个"#"号后面不敢打空格的开头: 论文地址:TextTiling: Segmenting Text into Multi-paragraph Subtopic Passages 大佬的作品需要被膜拜，所以本文目录就是原文的目录，每个目录下，总结了原文的内容。内容大体上是英文论文的翻译，但并不过分追求翻译的准确，而是想要探究行文的思路。所以，每个目录下，一段翻译，一段笔记；一段翻译，一段笔记… 本文的最后才是我自己的总结。 文章目录0. abstract1. Introduction2. Why Mult
请概括一下这篇文章的重点：Consumption and Liquidity Constraints: An Empirical Investigation
最新发布
02-17
这篇文章的重点是通过实证研究消费和流动性限制之间的关系。它分析了消费者在面对不同类型的流动性限制时的消费行为，并研究了这种限制对消费者储蓄、借贷和消费决策的影响。研究结果表明，流动性限制对消费行为有...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值