【文本匹配】Sentence-BERT Sentence Embeddings using Siamese BERT

Sentence-BERT: Sentence Embeddings using Siamese BERT-Network

Author: UKP-TUDA
Domain: 文本匹配
Reading Date: June 20, 2022
Type: Thesis

Sentence-BERT: Sentence Embeddings using Siamese BERT-Network EMNLP2019年的论文，用bert+孪生网络加速语义表征。

Intro

BERT和RoBERTa在语义相似度上达到了state-of-the-art，但在10000个句子中查找最相似对需要话费约65个小时来进行5千万次推断。BERT的结构决定了它并不适用于语义相似度查找和非监督的任务（如聚类）。

这篇文章提出了Sentence-BERT作为变形，用siamese和triplet网络结构来取得句子embeddings，还可以用cosine相似度来进行比较。这个方法极大的缩短了找相似对的时间，SERT只需要5秒而准确率持平BERT。

Model

SERT在BERT和RoBERTa后面加了一层pooling层，以获得固定长度的embedding。这里试了三种方法：CL