Cross-lingual Language Model Pretraining

最新推荐文章于 2024-05-25 15:48:50 发布
最新推荐文章于 2024-05-25 15:48:50 发布
阅读量563 收藏 1
点赞数
分类专栏： 自然语言处理 文章标签： 跨语言
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43087818/article/details/103425755
版权
本文探讨了跨语言语言模型的构建，包括共享词典的建立、因果关系和遮罩语言建模。还介绍了跨语言预训练在无监督机器翻译、低资源语言模型和无监督跨语言词嵌入中的应用，通过实验显示了跨语言模型预训练的有效性，特别是在XNLI跨语言分类任务上的优越性能。
摘要由CSDN通过智能技术生成

跨语言语言模型

构建共享词典
通过bpe创建多语言共享的词典，极大地提高了嵌入空间的对齐。
通过利用多项式分布从单语语料库中选择的句子群，利用句子群学习bpe
因果关系建模
训练一个Transformer模型
在transformer中，之前迭代的隐状态可以传递到当前batch中的第一个词中，从而使得每一个batch中的第一个词具有上下文语义，但是在跨语言中不能实行，所以为了简便令每个batch中的第一个词没有上下文语义。
遮罩语言建模
我们从文本流中随机的抽样15%的bpe词，80%的概率把它替换为mask，文本流中的词要根据多项式分布进行二次取样，文本流中词的权重与词的逆频率成正比
翻译语言建模
该模型不同于上面两个模型，利用到了平行句对。对源语言和目标语言都进行遮罩，沿用了遮罩语言建模。不考虑单语的文本流了，而是考虑到了平行句子的拼接。对源语言中的mask词进行预测时，不仅考虑该mask词的上下文，而且考虑其对齐的目标语言的上下文。
跨语言语言模型
训练两个无监督的模型要使用连续64个句子流（每个句子包含256个词）作为一个batch进行训练，一个batch包含从相同的语言中抽样出来的句子。当遮罩语言建模和翻译语言建模同时使用的时候，我们交替的使用两种建模方式。用相似的方法抽样语言对。

跨语言语言模型预训练

跨语言分类
在预训练transformer

最低0.47元/天 解锁文章
秦时明月照我心
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Cross-Lingual Word Embeddings.pdf
06-15
Cross-Lingual Word Embeddings by Anders Søgaard,Ivan Vulić,Sebastian Ruder,Manaal Faruqui
cross-lingual-open-ie:MTIE
05-01
MT / IE：跨语言开放式IE 基于注意力的跨语言开放式IE序列到序列模型。概括张胜，Kevin Duh和Benjamin Van Durme的“ ”（EACL 2017）的张量流实施。依存关系python 2.7 tensorflow r0.12或更高版本火车我们为您提供...
XLM：Cross-lingual Language Model Pretraining（2019-1-22）
weixin_49346755的博客
10-08 602
尽管原有的BERT模型可以在上百种语言上进行预训练，语言之间的信息并不是互通的，不同的语言模型之间没有共享知识。Facebook的XLM模型克服了信息不互通的难题，将不同语言放在一起采用新的训练目标进行训练，从而让模型能够掌握更多的跨语言信息。这种跨语言模型的一个显著优点是，对于预训练后的后续任务（比如文本分类或者翻译等任务），训练语料较为稀少的语言可以利用在其他语料上学习到的信息。
文献阅读笔记：Cross-lingual Language Model Pretraining
ljp1919的专栏
07-23 6200
0.背景 机构：Facebook 作者：Guillaume Lample、 Alexis Conneau 发布地方：arxiv 面向任务：Language Understanding 论文地址：https://arxiv.org/abs/1901.07291 论文代码：https://github.com/facebookresearch/XLM 0-1 摘要 最近的研究已经证明了生成预训练对于英...
Re72：读论文 XLM Cross-lingual Language Model Pretraining
最新发布
诸神缄默不语的博客
05-25 412
XLM论文阅读笔记
【论文阅读笔记】Cross-lingual Language Model Pretraining
寸先生的AI道路
01-29 4628
本文是FaceBook AI Team在2019年一月发布的文章。        近一年来，NLP领域发展势头强劲，从ELMO到LSTM再到去年最牛叉的Google Bert，在今年年初，Facebook又推出了XLM模型，在跨语言预训练领域表现抢眼。实验结果显示XML在XNLI任务上比原来的state-of-the-art直接高了4.9个百分点；在无监督机器翻译WMT’16 German-En...
[文献阅读]—Cross-lingual Language Model Pretraining
jokerxsy的博客
10-21 459
前言 论文链接：https://arxiv.org/abs/1901.07291 代码链接：https://github.com/facebookresearch/XLM 前人工作与存在问题 预训练语言模型（transformer encoder）对下游任务有帮助： 分类任务： Improving Language Understanding by Generative Pre-Training BERT: Pre-training of Deep Bidirectional Transformers
face - Cross-lingual Language Model Pretraining ---- XLM
小小鸟要高飞
09-28 3099
神经机器翻译四
Joint Multilingual Supervision for Cross-lingual Entity Linking.pdf
03-29
Cross-lingual Entity Linking (XEL) aims to ground entity mentions written in any language to an English Knowledge Base (KB), such as Wikipedia. XEL for most languages is challenging, owing to ...
Cross-Lingual-NLU
05-22
跨语言自然语言理解 这是本文论文中的实验和模型的源代码。 该存储库由Chen等人（2019）提出的定制联合NLU系统组成。 联合NLU依靠XLM-R（Conneau，2020年）作为其语言模型。 培训和测试数据来自Schuster等人（2019）...
cross-lingual-cap:跨语言字幕
05-27
跨语言字幕迄今为止，图像字幕大多以英语进行探索，因为大多数可用的数据集都使用这种语言。 但是，图像字幕的应用不应受到语言的限制。 跨语言图像字幕的研究对于地球上不会说英语的大量人口至关重要。...
论文阅读【自然语言处理-预训练模型】XML：Crosslingual language model pretraining
weixin_47082769的博客
05-09 620
最近的研究证明了生成式预训练对英语自然语言理解的有效性。在这项工作中，我们将这种方法扩展到多种语言，并展示了跨语言预训练的有效性。我们提出了两种学习跨语言语言模型 (XLM) 的方法：一种是仅依赖单语言数据的无监督方法，另一种是利用具有新的跨语言语言模型目标的并行数据的监督方法。我们在跨语言分类、无监督和监督机器翻译方面获得了最先进的结果。
三种Cross-lingual模型 (XLM, XLM-R, mBART)详解
mathor的博客
11-13 7710
本文将详述三种Cross-lingual模型，按照其在Arxiv上发表论文的时间，分别是XLM(2019/1/22)、XLM-R(2019/11/5)、mBART(2020/1/22)，有意思的是这三篇文章均出自FaceBook，他们是不是对跨语言模型有什么执念？ XLM (Cross-lingual Language Model Pretraining) 尽管原有的BERT模型可以在上百种语言上进行预训练，但是语言之间的信息并不是互通的，不同的语言模型之间没有共享知识。Facebook的XLM模型克服了信
论文笔记：Cross-Lingual Ability of Multilingual BERT: An Empirical Study
missgrass的博客
04-29 767
多语种BERT跨语言能力的实证研究摘要介绍2 BACKGROUND2.1 BERT 摘要 最近的研究展示了多语言BERT(M-BERT)令人惊讶的跨语言能力-令人惊讶的是，它的训练没有任何跨语言目标，也没有对齐的数据。在这项工作中，我们对M-BERT中不同成分对其跨语言能力的贡献进行了全面的研究。我们研究了语言的语言属性、模型的体系结构和学习目标的影响。这项实验研究是在三种不同类型的语言-西班牙语、印地语和俄语-的背景下进行的，并使用了两种概念上不同的自然语言处理任务：文本蕴涵和命名实体识别。我们的主要结论
【论文阅读笔记】Cross-Lingual Abstractive Summarization with Limited Parallel Resources
自用博客
12-24 269
【论文阅读笔记】Cross-Lingual Abstractive Summarization with Limited Parallel Resources
Cross-Lingual NER Using Parallel Corpus: A New Approach Using XLM-RoBERTa Alignment
weixin_42628991的博客
07-06 556
Cross-Lingual Named Entity Recognition Using Parallel Corpus: A New Approach Using XLM-RoBERTa Alignment（基于平行语料库的跨语言命名实体识别:一种新的XLM-RoBERTa对齐方法） 文章内容AbstractIntroduction三级目录 Abstract 我们提出了一种使用平行语料库的跨语言命名实体识别(NER) 0-shot 迁移的新方法。我们在XLM-RoBERTa 的基础上建立了一个实体对齐模型
Entity Projection via Machine Translation for Cross-Lingual NER（基于机器翻译的跨语言NER实体投影）
weixin_42628991的博客
08-19 475
基于机器翻译的跨语言NER实体投影Abstract1 Introduction2 相关工作2.1 直接模型转移2.2 标签投影3 翻译-匹配-工程方法3.1候选匹配生成token级匹配跨度匹配生成3.2 最佳匹配选择3.3 基于分布的匹配 Abstract 尽管强大的现成机器翻译系统支持100多种语言，但其中只有一个子集拥有用于命名实体识别的大型注释语料库。基于这一事实，我们利用机器翻译来改进实体投影方法，以实现跨语言命名实体识别。我们提出了一个系统，改进了先前的实体投影方法: 利用机器翻译系统两次：第一
2017. cheap translation for Cross-lingual NER 阅读笔记
能找到答案的，只有自己
10-21 250
cheap translation for Cross-lingual NER, Illinois Champaign 提出了一个生成翻译字典的 cheap translation 算法 该算法可以和 wikifier features、Brown Cluster features 等结合取得更好的效果 通过实验说明当 source Lan. 与 traget Lan. 相似度比较高时，可以进一...
深度学习驱动的预训练模型在NLP任务中的进展
如BERT、GPT（Generative Pre-trained Transformer）、RoBERTa（Robustly Optimized BERT Pretraining Approach）、ALBERT（A Lite BERT）、XLM（Cross-Lingual Language Model Pretraining）等。这些模型在结构、...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值