On the Sentence Embeddings from Pre-trained Language Models

Abstract

BERT 等预训练上下文表示模型在自然语言处理任务中取得了巨大的成功。但是从未在下游任务 fine-tune 的预训练模型中的到的句向量对句子语义的表示效果并不理想。本文认为 BERT embedding 中的语义信息并未被充分利用。本文首先从理论上揭示 MLM 预训练目标与语义相似度任务之间的关联，然后对 BERT 句向量进行了实验分析。

本文发现 BERT 总是得到一个非平滑 anisotropic 句子语义空间，这影响了语义相似性的效果。为了解决这个问题，本文通过 normalizing flows 将 BERT 句向量分布转换到一个平滑的 isotropic 高斯分布。normalizing flows 是通过非监督目标学到的。

实验显示本文提出的 BERT-flow 模型在若干语义文本相似度任务上相比现有 SOTA 获得了显著提升。

代码地址：https://github.com/bohanli/BERT-flow

Introduction

最近几年 BERT 等预训练模型在自然语言表示中得到了广泛应用。虽然经过 fine-tuning 之后可以在下游任务上取得很好的效果，但是直接从 BERT 中得到的句向量在文本语义相似度方面效果不尽如人意，甚至在某些任务上还不如 GloVe. (详细结果见