Sentence-BERT: Sentence Embeddings using Siamese BERT-Network
Author: UKP-TUDA
Domain: 文本匹配
Reading Date: June 20, 2022
Type: Thesis
Sentence-BERT: Sentence Embeddings using Siamese BERT-Network EMNLP2019年的论文,用bert+孪生网络加速语义表征。
Intro
BERT和RoBERTa在语义相似度上达到了state-of-the-art,但在10000个句子中查找最相似对需要话费约65个小时来进行5千万次推断。BERT的结构决定了它并不适用于语义相似度查找和非监督的任务(如聚类)。
这篇文章提出了Sentence-BERT作为变形,用siamese和triplet网络结构来取得句子embeddings,还可以用cosine相似度来进行比较。这个方法极大的缩短了找相似对的时间,SERT只需要5秒而准确率持平BERT。
Model
SERT在BERT和RoBERTa后面加了一层pooling层,以获得固定长度的embedding。这里试了三种方法:CL