摘要:
使用多语言的BERT生产109种语言无关的句子向量:
1,MLM,TLM结合的预训练BERT
2,使用translation ranking task fine-tune 双向的encoder
112个语种的双语挖掘准确率超过83.7%
介绍
1,MLM的输出句子向量效果不好
2,SentenceBERT (双encoder fine-tune 单语BERT)在STS(语义相似度)任务中取得了很好的成绩
多语言embedding策略:
双语:LASER —— 需要大量平行语料
双语 + input-response prediction :mUSE —— 没有一个语对的模型好
多语言的交叉影响的优点:
MLM+TLM -> Pre-trained BERT
final layer [CLS] representations cosine
效果:
双语挖掘任务中sota,:UN,BUCC
对比LASER 大语种相似,小语种超越
没有语料的30+语种:
1:预训练+fine-tuning策略,在双语挖掘任务中sota
2,109种语言的单模型及zero-shoting
3,分析数据数量,数据质量,预训练,及负采样率策略
2ÿ