论文笔记--ERNIE-M: Enhanced Multilingual Representation by Aligning Cross-lingual Semantics with Monolin

最新推荐文章于 2025-04-02 21:30:44 发布
最新推荐文章于 2025-04-02 21:30:44 发布
阅读量167 收藏
点赞数
分类专栏： 论文阅读 文章标签： 论文阅读 ernie 文心一言 语言模型 自然语言处理
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_38124427/article/details/134403164
版权

论文笔记--ERNIE-M: Enhanced Multilingual Representation by Aligning Cross-lingual Semantics with Monolingual Corpora

1. 文章简介

  • 标题：ERNIE-M: Enhanced Multilingual Representation by Aligning Cross-lingual Semantics with Monolingual Corpora
  • 作者：Xuan Ouyang, Shuohuan Wang, Chao Pang, Yu Sun, Hao Tian, Hua Wu, Haifeng Wang
  • 日期：2021
  • 期刊：arxiv preprint

2. 文章概括

  文章提出了ERNIE-M模型，模型可通过单语言的语料将多语言的信息进行对齐，从而克服平行语料不足的缺陷。

3 文章重点技术

  文章提出两种方法来增强模型对不同语言的知识对齐能力：CAMLM(Cross-attention masked language modeling)和BTMLM(Back-translation masked language modeling)。

3.1 CAMLM

  CAMLM会基于平行语料将跨语言的语义表达进行对齐。简单来说，给定平行语料对 < s , t > &l

最低0.47元/天 解锁文章
自然语言处理NLP——ERNIE-M：基于回译机制的“预训练-微调”多语言模型
转载请标明出处，完整项目/代码详见github：https://github.com/yiru1225
12-01 5131
本篇博客主要介绍一种基于回译机制的预训练-微调多语言模型——ERNIE-M。
ERNIE-M论文笔记
朝闻道
01-27 221
公众号 系统之神与我同在 https://arxiv.org/abs/2012.15674 概述： 通过两个阶段的自定义的预训练任务来增强多语言语义的表征 第一阶段： 基于cross-attention机制的mlm任务（CAMLM）， 这里，x指的是一种语言，y指的是另一种语言，M指的是要预测的token，这样的句子对构成了并行语料库（parallel corpus）。（注：MMLM和TLM是目前已有的处理多语言的baseline模型） 其中MMLM模型的特点是：M token的预测只依赖（或者是只at.
BERT和ERNIE谁更强？这里有一份4大场景的细致评测
weixin_34384681的博客
06-17 802
BERT和ERNIE，NLP领域近来最受关注的2大模型究竟怎么样？刚刚有人实测比拼了一下，结果在中文语言环境下，结果令人意外又惊喜。具体详情究竟如何？不妨一起围观下这篇技术评测。 1. 写在前面 随着2018年ELMo、BERT等模型的发布，NLP领域终于进入了“大力出奇迹”的时代。采用大规模语料上进行无监督预训练的深层模型，在下游任务数据上微调一下，即可达到很好的效果。曾经需要反复调参、精心设计...
Multilingual多语言预训练的那些套路
fareise的博客
05-01 1889
这篇文章就为大家整理了Multilingual多语言预训练语言模型的套路，包括XLM、XLM-R、ERNIE-M、Unicoder、ALM等5个经典模型，以及这些模型之间的演进关系。
EMNLP 2021 | 百度：多语言预训练模型ERNIE-M
Kaiyuan_sjtu的博客
12-17 1965
作者|‍Chilia‍哥伦比亚大学 nlp搜索推荐整理|NewBeeNLP2021年伊始，百度发布多语言预训练模型ERNIE-M，通过对96门语言的学习，使得一个模型能同时理...
2020.3 Enhanced meta-learning for cross-lingual named entity recognition with minimal resources 阅读笔记
能找到答案的，只有自己
03-11 1013
Motivation Problem Setting: a) One source language with rich labeled data. b) No labeled data in the target language. 现有的 Cross-lingula NER 方法可以分为两大类： a) Label projection (generate labeled data i...
基于预训练语言模型的文本生成研究综述
zenRRan的博客
10-08 4341
每天给你送来NLP技术干货！© 作者｜李军毅机构｜中国人民大学高瓴人工智能学院研究方向｜文本生成与预训练语言模型来自 |BUC AI Box本文介绍的是一篇有基于预训练语言模型的文本生成...
EMNLP'21中预训练模型最新研究进展
zenRRan的博客
09-30 2410
每天给你送来NLP技术干货！© 作者｜周昆机构｜中国人民大学信息学院研究方向｜序列表示学习与应用来自 |RUC AI Box导读EMNLP 2021是人工智能领域自然语言处理（ Natu...
Python编程学习第六课之Python程序的初识
qq_35124097的博客
10-06 584
在全面开始学习我们的Python学习语言之前，需要小白童鞋们先了解一些关于程序的相关概念，如同十一我们外出旅行一般，去哪里旅行以及将会经过哪里都需要我们非常熟悉。本节课会教给大家程序、程序调试以及调试过程中可能遇到的问题等基础概念。 Python作为一门不断发展与普及的语言，还在不断更新中。在学习时，建议找一些学习伙伴一起来学习和讨论，效果更佳。如果想学习Python，欢迎加入Python学习交流群（1104627612），一起督促，一起学习。 1.程序 程序是根据语言提...
中文任务全面超越BERT：百度正式发布NLP预训练模型ERNIE
PaddlePaddle
03-17 1477
近日，百度提出知识增强的语义表示模型 ERNIE（Enhanced Representation through kNowledge IntEgration），并发布了基...
Iterative Noncoherent Angular Superresolution论文阅读
yangqoor的博客
04-02 504
在实际应用中，孔径尺寸常受平台（如无人机、卫星）物理限制，导致分辨率不足。（即对检测后的信号进行反卷积）突破这一限制，实现。传统理论认为，角分辨率由衍射极限公式。是提升分辨率的关键，但传统逆滤波（通过逐步逼近，避免直接计算病态的。）因噪声放大和频带截断问题失效。为避免直接逆滤波，作者引入。作者将传感器输出建模为。
Multi-Stage Progressive Image Restoration论文阅读
qq_45987837的博客
03-28 815
图像复原任务在恢复图像时需要在空间细节与高层语境化信息之间取得复杂的平衡。本文提出了一种新颖的协同设计方法，能够最优地平衡这些竞争目标。我们的核心方案是一种多阶段架构，通过逐步学习退化输入的复原函数，将整体恢复过程分解为更易管理的步骤。具体而言，我们的模型首先利用编码器-解码器架构提取语境化特征，随后将其与保留局部信息的高分辨率分支相结合。在每个阶段，我们引入了一种基于原位监督注意力机制的逐像素自适应设计，用于重新加权局部特征。这种多阶段架构的关键在于不同阶段之间的信息交换。
【论文阅读】Backdoor Defense via Test-Time Detecting and Repairing
开心星人的博客
04-01 595
为了防御后门攻击，以往的研究主要集中在使用干净数据在模型部署前去除后门攻击。在本文中，我们研究了利用测试时部分被污染的数据来去除模型中的后门的可能性。为了解决这个问题，我们提出了一种两阶段方法 TTBD。在第一阶段，我们提出了一种后门样本检测方法 DDP，用于从一批混合的、部分被污染的样本中识别出被污染的样本。一旦检测出被污染的样本，我们利用Shapley 估计来计算神经元的重要性贡献，定位受污染的神经元，并对其进行剪枝，以去除模型中的后门。
论文笔记：ASTTN模型
Ada的博客
04-01 670
这种方法在建模复杂的时空关系时尤为重要，尤其是在原始邻接信息可能不完整或不足以完全表达节点间依赖性的情况下。直接计算全局时空注意力（full ST-attention）会导致计算复杂度过高，难以扩展到大规模数据。而自适应邻接矩阵的引入可以。
数据分析与知识发现 论文阅读【信息抽取】
jieshenai的博客
04-02 417
数据分析与知识发现期刊 信息抽取相关论文阅读
论文阅读笔记：Denoising Diffusion Implicit Models （3）
u010948546的博客
04-01 697
DDPM与DDIM的训练过程相同，因此DDPM训练的模型可以直接在DDIM当中使用，训练过程下所示。
【论文阅读】Co2l: Contrastive continual learning
moment8aVry的博客
03-29 838
该论文提出了一种名为Co²L（对比持续学习）的新方法，旨在解决持续学习中的灾难性遗忘问题。核心思想是通过对比学习（Contrastive Learning）和自监督蒸馏（Self-supervised Distillation）来持续学习和维护可迁移的表示。
论文阅读10——解开碳排放与碳足迹之间的关系：文献回顾和可持续交通框架
最新发布
2403_87584552的博客
04-02 419
交通脱碳在全球范围内引起了广泛关注，有两个概念发挥着至关重要的作用：交通碳排放（TCE）和交通碳足迹（TCF）。然而，它们在相关文献中的重叠定义和混合使用造成了歧义和误解，迫切需要以更加内省的方式澄清它们之间的微妙关系。因此，我们进行了深入的文献回顾，调查它们的本质共性和差异，重点关注两个方面：从研究趋势、焦点和集群方面了解科学进步，以捕捉其内涵和用例;诊断它们是如何内在估计的以及如何减少滥用。因此，我们开发了一个集成的生命周期分析框架，将TCE和TCF在跨学科环境中联系起来。
[论文笔记] Deepseek技术报告解读: MLA&MTP
心宝的博客
04-02 17
Deepseek技术报告解读: MLA&MTP
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值