weixin_43785675的博客

原创 读论文_Sentence-BERT

原标题：Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks 论文地址 代码 背景 BERT（2018）和RoBERTa（2019）在处理文本语义相似度等句子对回归的任务上，都有不错的效果。但BERT在计算句子相似度时，需要将两个句子都输入到网络中，这就会产生巨大的计算开销。在10000个句子中找到相似的句子需要5000w次推理计算，这项任务在V100GPU上大约耗时65h。 BERT的构造使得它既不适用于语义相似度搜索，也不适合于聚类