- 博客(2)
- 资源 (4)
- 收藏
- 关注
原创 XLM-R---XLM的升级版本
这几天研究跨语言无监督模型,研究XLM-R的时候。顺便把XLM看了。因为这两篇文章时紧耦合的。XLM-R依赖XLM的思想。XLM-R来源于Facebook的11月份新文章《Unsupervised Cross-lingual Representation Learning at Scale》是EMNLP2019的最佳论文。在100种语言上使用超过2.5T的数据进行训练。相对于XLM,XLM-R使...
2019-11-22 18:13:30 4189 3
原创 跨域预训练语言模型(XLM)
XLM来自于Facebook ai的论文《Cross-lingual Language Model Pretraining》。目前多数语言模型都是单语义(monolingual)模型,比如BERT、XLNET、google的T5等等。期望有一种语言模型可以实现多种语言的融合,然后在一种语言训练模型,通过XLM迁移到其他语言上。比如标注语料较多的英语,我们训练好EN-》DE的翻译模型,但是,像印地语...
2019-11-20 17:51:58 5986
linux下shell无线工具源代码
2013-05-31
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人