论文笔记--ERNIE-M: Enhanced Multilingual Representation by Aligning Cross-lingual Semantics with Monolin

最新推荐文章于 2025-04-01 22:46:33 发布
最新推荐文章于 2025-04-01 22:46:33 发布
阅读量167 收藏
点赞数
分类专栏： 论文阅读 文章标签： 论文阅读 ernie 文心一言 语言模型 自然语言处理
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_38124427/article/details/134403164
版权

论文笔记--ERNIE-M: Enhanced Multilingual Representation by Aligning Cross-lingual Semantics with Monolingual Corpora

1. 文章简介

  • 标题：ERNIE-M: Enhanced Multilingual Representation by Aligning Cross-lingual Semantics with Monolingual Corpora
  • 作者：Xuan Ouyang, Shuohuan Wang, Chao Pang, Yu Sun, Hao Tian, Hua Wu, Haifeng Wang
  • 日期：2021
  • 期刊：arxiv preprint

2. 文章概括

  文章提出了ERNIE-M模型，模型可通过单语言的语料将多语言的信息进行对齐，从而克服平行语料不足的缺陷。

3 文章重点技术

  文章提出两种方法来增强模型对不同语言的知识对齐能力：CAMLM(Cross-attention masked language modeling)和BTMLM(Back-translation masked language modeling)。

3.1 CAMLM

  CAMLM会基于平行语料将跨语言的语义表达进行对齐。简单来说，给定平行语料对 < s , t > &l

最低0.47元/天 解锁文章
Multilingual多语言预训练的那些套路
fareise的博客
05-01 1888
这篇文章就为大家整理了Multilingual多语言预训练语言模型的套路，包括XLM、XLM-R、ERNIE-M、Unicoder、ALM等5个经典模型，以及这些模型之间的演进关系。
自然语言处理NLP——ERNIE-M：基于回译机制的“预训练-微调”多语言模型
转载请标明出处，完整项目/代码详见github：https://github.com/yiru1225
12-01 5130
本篇博客主要介绍一种基于回译机制的预训练-微调多语言模型——ERNIE-M。
ERNIE-M论文笔记
朝闻道
01-27 221
公众号 系统之神与我同在 https://arxiv.org/abs/2012.15674 概述： 通过两个阶段的自定义的预训练任务来增强多语言语义的表征 第一阶段： 基于cross-attention机制的mlm任务（CAMLM）， 这里，x指的是一种语言，y指的是另一种语言，M指的是要预测的token，这样的句子对构成了并行语料库（parallel corpus）。（注：MMLM和TLM是目前已有的处理多语言的baseline模型） 其中MMLM模型的特点是：M token的预测只依赖（或者是只at.
BERT和ERNIE谁更强？这里有一份4大场景的细致评测
weixin_34384681的博客
06-17 802
BERT和ERNIE，NLP领域近来最受关注的2大模型究竟怎么样？刚刚有人实测比拼了一下，结果在中文语言环境下，结果令人意外又惊喜。具体详情究竟如何？不妨一起围观下这篇技术评测。 1. 写在前面 随着2018年ELMo、BERT等模型的发布，NLP领域终于进入了“大力出奇迹”的时代。采用大规模语料上进行无监督预训练的深层模型，在下游任务数据上微调一下，即可达到很好的效果。曾经需要反复调参、精心设计...
EMNLP 2021 | 百度：多语言预训练模型ERNIE-M
Kaiyuan_sjtu的博客
12-17 1965
作者|‍Chilia‍哥伦比亚大学 nlp搜索推荐整理|NewBeeNLP2021年伊始，百度发布多语言预训练模型ERNIE-M，通过对96门语言的学习，使得一个模型能同时理...
2020.3 Enhanced meta-learning for cross-lingual named entity recognition with minimal resources 阅读笔记
能找到答案的，只有自己
03-11 1013
Motivation Problem Setting: a) One source language with rich labeled data. b) No labeled data in the target language. 现有的 Cross-lingula NER 方法可以分为两大类： a) Label projection (generate labeled data i...
基于预训练语言模型的文本生成研究综述
zenRRan的博客
10-08 4340
每天给你送来NLP技术干货！© 作者｜李军毅机构｜中国人民大学高瓴人工智能学院研究方向｜文本生成与预训练语言模型来自 |BUC AI Box本文介绍的是一篇有基于预训练语言模型的文本生成...
EMNLP'21中预训练模型最新研究进展
zenRRan的博客
09-30 2407
每天给你送来NLP技术干货！© 作者｜周昆机构｜中国人民大学信息学院研究方向｜序列表示学习与应用来自 |RUC AI Box导读EMNLP 2021是人工智能领域自然语言处理（ Natu...
Python编程学习第六课之Python程序的初识
qq_35124097的博客
10-06 584
在全面开始学习我们的Python学习语言之前，需要小白童鞋们先了解一些关于程序的相关概念，如同十一我们外出旅行一般，去哪里旅行以及将会经过哪里都需要我们非常熟悉。本节课会教给大家程序、程序调试以及调试过程中可能遇到的问题等基础概念。 Python作为一门不断发展与普及的语言，还在不断更新中。在学习时，建议找一些学习伙伴一起来学习和讨论，效果更佳。如果想学习Python，欢迎加入Python学习交流群（1104627612），一起督促，一起学习。 1.程序 程序是根据语言提...
中文任务全面超越BERT：百度正式发布NLP预训练模型ERNIE
PaddlePaddle
03-17 1477
近日，百度提出知识增强的语义表示模型 ERNIE（Enhanced Representation through kNowledge IntEgration），并发布了基...
Multi-Stage Progressive Image Restoration论文阅读
qq_45987837的博客
03-28 783
图像复原任务在恢复图像时需要在空间细节与高层语境化信息之间取得复杂的平衡。本文提出了一种新颖的协同设计方法，能够最优地平衡这些竞争目标。我们的核心方案是一种多阶段架构，通过逐步学习退化输入的复原函数，将整体恢复过程分解为更易管理的步骤。具体而言，我们的模型首先利用编码器-解码器架构提取语境化特征，随后将其与保留局部信息的高分辨率分支相结合。在每个阶段，我们引入了一种基于原位监督注意力机制的逐像素自适应设计，用于重新加权局部特征。这种多阶段架构的关键在于不同阶段之间的信息交换。
R-GCN-Modeling Relational Data with GraphConvolutional Networks（论文笔记）
水深00安东尼的博客
03-30 1112
R-GCN通过允许不同关系类型之间的信息传播，能够更好地捕捉图中的复杂关系结构，从而提高了知识图谱补全的效果。
【论文阅读】Backdoor Defense via Test-Time Detecting and Repairing
开心星人的博客
04-01 496
为了防御后门攻击，以往的研究主要集中在使用干净数据在模型部署前去除后门攻击。在本文中，我们研究了利用测试时部分被污染的数据来去除模型中的后门的可能性。为了解决这个问题，我们提出了一种两阶段方法 TTBD。在第一阶段，我们提出了一种后门样本检测方法 DDP，用于从一批混合的、部分被污染的样本中识别出被污染的样本。一旦检测出被污染的样本，我们利用Shapley 估计来计算神经元的重要性贡献，定位受污染的神经元，并对其进行剪枝，以去除模型中的后门。
论文笔记：ASTTN模型
Ada的博客
04-01 508
这种方法在建模复杂的时空关系时尤为重要，尤其是在原始邻接信息可能不完整或不足以完全表达节点间依赖性的情况下。直接计算全局时空注意力（full ST-attention）会导致计算复杂度过高，难以扩展到大规模数据。而自适应邻接矩阵的引入可以。
论文阅读笔记：Denoising Diffusion Implicit Models （3）
最新发布
u010948546的博客
04-01 486
DDPM与DDIM的训练过程相同，因此DDPM训练的模型可以直接在DDIM当中使用，训练过程下所示。
【论文阅读】Co2l: Contrastive continual learning
moment8aVry的博客
03-29 816
该论文提出了一种名为Co²L（对比持续学习）的新方法，旨在解决持续学习中的灾难性遗忘问题。核心思想是通过对比学习（Contrastive Learning）和自监督蒸馏（Self-supervised Distillation）来持续学习和维护可迁移的表示。
【论文阅读】Self-Correcting Clustering
dundunmm的博客
04-01 743
目标分布的引入显著提升了深度聚类的效果。然而，大多数相关的深度聚类方法存在两个主要缺陷：(1) 依赖人工设计的目标分布函数，性能存在不确定性；(2) 聚类错误分配的累积。为了解决这些问题，本文提出了一种自校正聚类（Self-CC）框架。在 Self-CC 中，设计了一种鲁棒目标分布求解器（RTDS），用于自动预测目标分布并缓解错误分配的影响。具体而言，RTDS 通过建模聚类模块的训练损失分布，将根据聚类分配结果选出的高置信度样本划分为具有正确伪标签的已标记样本和可能错误分配的未标记样本。
论文阅读笔记：Denoising Diffusion Implicit Models （2）
u010948546的博客
04-01 776
扩散模型DDIM
【论文阅读】VideoMerge: Towards Training-free Long Video Generation
xianshuiyihui的博客
03-29 642
VideoMerge论文阅读
RISC-V调试支持1.0版：编辑者与贡献者一览
RISC-V Debug Support 版本 1.0.0-STABLE 是一个针对 RISC-V架构设计的调试规范文档，由 SiFive 公司的 Ernie Edgar 和 Tim Newsome 主编，于 2021 年 5 月 4 日发布。这个版本包含了来自多位行业专家的贡献，他们在...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值