LaBSE : Language-agnostic BERT Sentence Embedding

摘要：
使用多语言的BERT生产109种语言无关的句子向量：
1，MLM，TLM结合的预训练BERT
2，使用translation ranking task fine-tune 双向的encoder

112个语种的双语挖掘准确率超过83.7%

介绍
1，MLM的输出句子向量效果不好
2，SentenceBERT （双encoder fine-tune 单语BERT）在STS（语义相似度）任务中取得了很好的成绩

多语言embedding策略：
双语：LASER —— 需要大量平行语料
双语 + input-response prediction ：mUSE —— 没有一个语对的模型好

多语言的交叉影响的优点：

MLM+TLM -> Pre-trained BERT
final layer [CLS] representations cosine

效果：
双语挖掘任务中sota，：UN，BUCC
对比LASER 大语种相似，小语种超越

没有语料的30+语种：

1：预训练+fine-tuning策略，在双语挖掘任务中sota
2，109种语言的单模型及zero-shoting
3，分析数据数量，数据质量，预训练，及负采样率策略

2ÿ