论文笔记 | Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks

---

作者：迪

单位：燕山大学

---

论文地址

代码地址

论文来源：EMNLP2019

---

前言

  虽然BERT和RoBERTa在诸如文本语义相似度等任务上达到了SOTA效果，但是它们还存在一些缺点：在这些任务中，它们需要将比较的两个句子都传入到模型中计算，计算开销过大。BERT模型在一个1W句子集合中，找出最相近的一个句子对，需要5千万次推断计算（约65小时）才能完成，所以BERT并不适合语义相似度搜索等任务。

  在该论文中，作者提出了一个新的模型，Sentence-BERT（简称SBERT）。SBERT采用双重（孪生）或三重BERT网络结构。通过SBERT模型获取到的句子embedding，可以直接通过余弦相似度计算两个句子的相似度，这样就大大减少了计算量。因为在使用BERT模型进行句子间相似度的判断时，需要从句子集合中，选出两个句子进行组合，传入BERT中进行计算，而使用SBERT模型，只需要将集合中每个句子单独传入到模型中，得到每个句子的embeding，计算相似度只需要使用cos函数计算两两embeding的cos距离即可。