「翻译」BERT 多语言模型

最新推荐文章于 2024-05-08 09:41:56 发布
最新推荐文章于 2024-05-08 09:41:56 发布
阅读量5.3k 收藏 6
点赞数
分类专栏： Deep Learning 文章标签： BERT Deep Learning
本文介绍了BERT的多语言模型，包括Cased和Uncased两种版本，适用于104种语言。文章讨论了不同语言的标记化方法，强调了多语言Cased模型对非拉丁字母表语言的优势。此外，通过XNLI数据集展示了多语言BERT的性能，并提供了微调示例，强调在资源丰富语言如中文上的表现。
摘要由CSDN通过智能技术生成

Update: 2018/12/17

我们对中文使用基于字符的标记化，对所有其他语言使用 WordPiece 标记化。两种模型都应该开箱即用，不需要修改任何代码。

模型
目前有两种多语言模型可供选择。我们不打算发布更多单语言模型，但我们可能会在未来发布这两种版本的BERT-Large版本：

  • BERT-Base, 多语言 Cased (新版, 推荐): 104种语言, 12-layer, 768-hidden, 12-heads, 110M parameters
  • BERT-Base, 多语言 Uncased (初版, 不建议使用): 102种语言, 12-layer, 768-hidden, 12-heads, 110M parameters
  • BERT-Base, 中文: 简体中文、繁体中文, 12-layer, 768-hidden, 12-heads, 110M parameters

多语言 Cased 模型修复了许多语言的规范化问题，因此建议使用非拉丁字母表的语言（对于大多数使用拉丁字母的语言，通常表现的比较好）。 使用此模型时，请确保将–do_lower_case = false传递给run_pretraining.py和其他脚本。

请参阅多语言模型支持的语言列表。多语言模型确实包含中文（和英文），但如果您的 Fine-tuning 数据仅限中文，中文模型可能会产生更好的结果。

结果
为了评估不同的系统，我们使用 XNLI 数据集数据集，它是 MultiNLI 的一个版本，其中开发集和测试集已经由人类翻译成15种语言。请注意，训练集是机器翻译的（我们使用的是XNLI提供的翻译，而不是Google NMT）。

系统 英文 中文
XNLI Baseline - Translate Train 73.7 67.0
XNLI Baseline - Translate Test 73.7 68.3
BERT - Translate Train Cased 81.9 76.6
BERT - Translate Train Uncased 81.4 74.2
BERT - Translate Test Uncased 81.4 70.1
BERT - Zero Shot Uncased 81.4
最低0.47元/天 解锁文章
morize
关注
  • 0
    点赞
  • 踩
  • 6
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
常见多语言模型详解 (M-Bert, LASER, MultiFiT, XLM)
Jay_Tang的博客
08-08 6960
文章目录往期文章链接目录Ways of tokenizationWord-based tokenizationCharacter-based tokenizationSubword tokenizationExisting approaches for cross-lingual NLPOut-of-vocabulary (OOV) problem in mono/multi-lingual settingsM-BERT (Multi-lingual BERT)WHY MULTILINGUAL BERT W
indic-bert：基于BERT的印度语言多语言模型
02-03
印度文 | 印度伯特（Indic bert）是一种多语言ALBERT模型，专门涵盖12种主要印度语言。 它在我们约90亿个代币的新颖语料库上进行了预训练，并在一​​系列多样化的任务上进行了评估。 与其他流行的公开多语言模型相比，Indic-bert的参数要少大约10倍，同时它也可以达到与这些模型同等或更好的性能。 我们还介绍了IndicGLUE-一组标准评估任务，可用于衡量印度语言中的单语和多语模型的NLU性能。 与IndicGLUE一起，我们还编译了其他评估任务的列表。 该存储库包含用于在indic-bert和其他类似bert的模型上运行所有这些评估任务的代码。 目录 介绍 印度的BE
BERT融合神经机器翻译模型：开启翻译新纪元
最新发布
gitblog_00072的博客
05-08 523
BERT融合神经机器翻译模型：开启翻译新纪元 项目地址:https://gitcode.com/bert-nmt/bert-nmt 项目简介 BERT-fused NMT(BERT融合神经机器翻译模型)，源自ICLR2020会议的一篇研究论文《将BERT融入神经机器翻译》。这个开源项目实现了将预训练的BERT模型与神经机器翻译（NMT）相结合的新颖方法，从而大幅提升翻译质量。 项目技术分析 该模型...
李宏毅自然语言处理——多语言BERT
日积月累，天道酬勤
08-15 3662
本文我们介绍多语言的BERT(Multilingual BERT)
Chapter7-5_Multilingual BERT
zjuPeco的博客
09-19 1027
文章目录1 什么是Multilingual BERT2 Zero-shot Reading Comprehension 本文为李弘毅老师【Multilingual BERT】的课程笔记，课程视频youtube地址，点这里????(需翻墙)。 下文中用到的图片均来自于李宏毅老师的PPT，若有侵权，必定删除。 文章索引： 上篇 - 7-4 來自獵人暗黑大陸的模型 GPT-3 下篇 - 待更新 总目录 1 什么是Multilingual BERT 世界上的语言有几千种，如果我们需要某个语言的BERT预训练模型，就
李宏毅DLHLP.22.Multilingual BERT
老毛的博客
11-22 2362
文章目录介绍 介绍 本门课程是2020年李宏毅老师新课：Deep Learning for Human Language Processing（深度学习与人类语言处理） 课程网站 B站视频 公式输入请参考：在线Latex公式
BERT多语言版本预训练模型上线前需要对句子进行人工分字
天才小呵呵的博客
01-19 1247
BERT多语言版本用于处理混合了中英文单词的文本前需要这样一下下。
基于BERT的机器翻译模型开发详解.pdf
08-09
在机器翻译领域，基于BERT的模型已经成为一种先进的技术。BERT，全称为Bidirectional Encoder Representations from Transformers，是一种预训练的深度学习模型，以其强大的上下文理解能力而闻名。本篇内容详细介绍...
BERT的多语言模型，Layer=12，Hidden=768，Heads=12
03-15
BERT的全称为Bidirectional Encoder Representation from Transformers，是一个预训练的语言表征模型。本资源是BERT开源的基础模型Layer=12，Hidden=768，Heads=12。
机器翻译-BERT模型的使用
10-13
huggingface上面很多业界大牛也在使用和提交新模型。 在国内huggingface也是应用非常广泛，一些开源框架本质上就是调用transfomer上的模型进行微调。很多nlp工程师招聘的条目上也明摆着要求熟悉huggingface ...
BERT模型实战1
08-03
BERT 模型实战 1 本资源主要介绍了 BERT 模型的基本组成和实现细节，涵盖了自注意机制、多头机制、位置信息表达、LayerNormalize、Decoder 和训练 BERT 等方面。 BERT 基本组成 BERT 模型的基本组成是一个 Seq2...
bert-base-uncased-pytorch_model.bin
05-08
huggingface的bert-base-uncased-pytorch_model.bin，然后把URL改了就可用
官方bert中文预训练模型
08-17
Google官方中文Bert预训练模型，当前模型为bert base模型，省去爬梯下载的烦恼，需要其他模型的可以私信
bert-base-uncased 预训练模型
01-12
来自 https://huggingface.co/bert-base-uncased/tree/main
bert预训练模型（英文）
10-27
BERT，全称为Bidirectional Encoder Representations from Transformers，是由Google在2018年提出的预训练语言模型。这个模型的出现极大地推动了自然语言处理（NLP）领域的进步，它能理解文本的深层次语义，并在多个...
李宏毅nlp学习笔记14：Multi-lingual BERT
weixin_42721412的博客
11-11 1462
1.Multi-lingual BERT：把多种语言丢到bert模型中进行训练。 2.惊奇的效果：可以做到跨语言学习。 用英文的QA语料进行训练，然后可以对模型做中文的QA。 而且效果要好于直接用中文训练的其他模型。 翻译语料进行训练的结果有时候还比不上直接Multi-lingual BERT的结果： 其他的， 会做英文的词性标记，就也会做中文的了。 会做英文的ner识别，就也会做中文的了。 3.XTREME：跨语言学习的能力。 4.为什么能做跨语言的训练的？ 可能bert在训练时，去掉了语言的
Bert:语言模型
m0_67084346的博客
12-02 631
Bert:语言模型
大语言模型系列-BERT
君子之学必日新，日新者日进也。不日新者必日退，未有不进而不退者
01-19 1222
前文提到的GPT-1开创性的将Transformer Decoder架构引入NLP任务，并明确了预训练（学习 text 表征）+微调这种半监督训练方法，但Transformer Decoder的Masked attention部分，屏蔽了来自未来的信息，因此GPT是单向的模型，只能考虑语境上文，无法考虑语境的下文。因此，BERT转而使用了Transformer Encoder架构，核心其实就是注意力层的区别。
BERT模型在多语言处理中的应用与挑战
qq_27496129的博客
04-08 892
自然语言处理（Natural Language Processing, NLP）是人工智能领域的一个重要分支，旨在使计算机能够理解、解释、生成人类语言。NLP技术被广泛应用于文本分析、情感分析、语音识别等领域。BERT（Bidirectional Encoder Representations from Transformers）是由Google研发的一种预训练语言模型，通过双向Transformer结构实现了在大规模文本语料上进行无监督学习。BERT模型在自然语言处理领域取得了巨大成功。
bert base语言模型
06-09
BERT (Bidirectional Encoder Representations from Transformers) 是一种基于 Transformer 的预训练语言模型，由 Google 在 2018 年提出。BERT 模型在多项自然语言处理任务中取得了非常好的成绩，如问答、文本分类、命名实体识别等。BERT 模型是一个双向的 Transformer 模型，能够学习到两个方向上的上下文信息，从而更好地理解文本。BERT base 是其中参数较少的一个版本，包含 110M 个参数，适合在较小的数据集上进行微调。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值