Abstract
BERT 等预训练上下文表示模型在自然语言处理任务中取得了巨大的成功。但是从未在下游任务 fine-tune 的预训练模型中的到的句向量对句子语义的表示效果并不理想。本文认为 BERT embedding 中的语义信息并未被充分利用。本文首先从理论上揭示 MLM 预训练目标与语义相似度任务之间的关联,然后对 BERT 句向量进行了实验分析。
本文发现 BERT 总是得到一个非平滑 anisotropic 句子语义空间,这影响了语义相似性的效果。为了解决这个问题,本文通过 normalizing flows 将 BERT 句向量分布转换到一个平滑的 isotropic 高斯分布。normalizing flows 是通过非监督目标学到的。
实验显示本文提出的 BERT-flow 模型在若干语义文本相似度任务上相比现有 SOTA 获得了显著提升。
代码地址:https://github.com/bohanli/BERT-flow
Introduction
最近几年