2025秋招NLP算法面试真题(十五)-为什么Bert做不好无监督语义匹配

今天分享的论文解决了我很久以来的一个疑惑，名字叫做：On the Sentence Embeddings from Pre-trained Language Models：

这个论文主要探讨两个问题：

1. 为什么Bert做无监督文本匹配效果不好？是因为bert的输出携带的语义信息太少还是我们没有正确的利用挖掘这些语义信息
2. 如果说是因为没有正确挖掘利用这些语义信息，那么我们怎么使用无监督的方式，让这种语义信息很容易的被利用

本文主要聊第一点，先说一下结论：

Bert向量空间并不平滑，有些区域不好被定义，也就是说是存在问题的，导致简单的相似性度量不能很好起到度量作用。

简单说就是Bert输出向量语义信息是足够的，但是consine这种简单东西不能很好的度量出来而已。

那么就有大致两个解决办法：转化Bert的输出空间或者使用其他的有用的相似性度量函数。

论文使用的是第一种，对Bert的输出空间做了一个转化，这个不细说，大家去看原论文。

1. 之前