语义相似度、句向量生成超强模型之SBERT《Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks》

最新推荐文章于 2025-03-25 15:53:48 发布
最新推荐文章于 2025-03-25 15:53:48 发布
阅读量2.9w 收藏 78
点赞数 23
分类专栏： NLP 论文 文章标签： 自然语言处理
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43922901/article/details/106014964
版权
Sentence-BERT（SBERT）通过对预训练的BERT模型进行改进，使用孪生和三级网络结构，解决了语义相似度搜索和非监督任务中的挑战。SBERT在文本语义相似度等句子对的回归任务上表现优异，通过特定的训练策略和特征提取方法，有效提高了句向量的质量。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

1 前言

随着2018年底Bert的面世，NLP进入了预训练模型的时代。各大预训练模型如GPT-2，Robert，XLNet，Transformer-XL，Albert，T5等等层数不穷。但是几乎大部分的这些模型均不适合语义相似度搜索，也不适合非监督任务，比如聚类。而解决聚类和语义搜索的一种常见方法是将每个句子映射到一个向量空间，使得语义相似的句子很接近。说到这，可能有的人会尝试将整个句子输入预训练模型中，得到该句的句向量，然后作为句子的句向量表示。但是这样得到的句向量真的好吗？在论文《Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks》就指出了，这样得到的句向量不具有语义信息，也就是说，两个相似的句子，得到的句向量可能会有很大的差别。此外，不仅句向量表示的语义方面存在很大差别，而且，它要求两个句子都被输入到网络中，从而导致巨大开销：从10000个句子集合中找到最相似的sentence-pair需要进行大约5000万个推理计算（约65小时），因此，这种方案不太友好。

2 解决的问题

面对上述预训练模型在文本语义相似度等句子对的回归任务上的问题，本文提出了Sentence-BERT（SBERT），对预训练的BERT进行修改：使用孪生(Siamese)和三级(triplet)网络结构来获得语义上有意义的句子embedding，以此获得定长的sentence embedding，使用余弦相似度或Manhatten/Euclidean距离等进行比较找到语义相似的句子。通过这样的方法得到的SBERT模型，在文本语义相似度等句子对的回归任务上吊打BERT , RoBERTa 拿到sota。
那么接下来看下论文是怎么做的。

3 网络结构

在这里插入图片描述
其中左图是训练的模型，右图是训练好模型之后利用句向量计算2个句子之间的相似度。u，v分别表示输入的2个句子的向量表示，|u-v|表示取两个向量的绝对值，(u, v, |u-v|)表示将三个向量在-1维度进行拼接，因此得到的向量的维度为 3*d，d表示隐层维度。

4 训练

使用SNLI和NLI数据集对Bert和Roberta进行fine-tune，得到SBERT预训练模型。

  • Polling策略

    ① mean：将句子的所有token在token维度上计算平均，这样就可以得到768(base)/1024(large)维度向量；
    ② max：将句子的所有token在token维度上的最大那个值，即做max_over_time，这里多解释下max_over_time，就是比如x = torch.randn(2, 10, 20)，就是取x.max(1)；
    ③ CLS：就是原始Bert做分类的方法，取句子的第一个token的向量。
    作者发现，使用mean的效果最好，max最差。

  • loss函数

    ① 回归任务：softmax，均方差损失函数；
    ② 分类任务：softmax， 交叉熵损失函数；
    ③ Wikipedia section triplets dataset (Dor et al., 2018)(三句分类任务)：这个数据集是一些书中的句子，每一条数据有三句话，其中两句来自同一个章节的句子，另外一句是这本书的另外一个章节。
    在这里插入图片描述
    其中 ε设为1，||a, b||表示a和b的距离。求该损失函数的目的就是使得，a和p的距离小于a和n的距离

  • Encoder之后特征提取策略
    - [在这里插入图片描述](https://img-blog.csdnimg.cn/20200509140943386.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzkyMjkwMQ==,size_16,color_FFFFFF,t_70)
    最后发现使用(u, v, |u-v|)效果最好

  • 训练速度

    在CPU, InferSent比SBERT块65%，在GPU上，论文使用了Smart batching策略，即将长度差不多的句子放在一个Batch训练，用这种方法在CPU上提升了89%，在GPU上提上了48%。此外，速度比inferSent快5%，比Universal Sentence Encoder快55%。

  • 其他细节

    学习率：2e-5
    warmup：0.1
    batchsize：16
    优化器：Adam

5 结论

  • STS数据集

直接使用SBERT进行预测。

在这里插入图片描述
从表中可以看到，使用SBERT的效果远远好于BERT

注意：表格中的SBERT-NLI-base其实就是文章中的SBERT，意思是使用SNLI和NLI数据集对BERT进行fine-tune得到的预训练模型。

  • NLI + STSb两步训练

即使用STSb数据集对SBERT进行fine-tune
在这里插入图片描述
从表中可以看到，当使用了STSb数据对SBERT进行fine-tune(bert-base:88.33)后，比直接使用SBERT评测STSb(77.03)效果好得多

  • AFS(Argument Facet Similarity)数据集

该数据集包含gun control, gay marriage, and death penalty三个话题。论文使用了其中两个主题A，B作为训练数据，另外一个C主题数据作为测试。最后取平均分数。结果如下：
在这里插入图片描述
从表中可以看到，对比于Glove和tf-idf均有很大的提升，但是对于Bert，不论是10倍交叉验证还是正常评测，效果反而下降了。论文提到，这个是由于训练的主题数据太少，导致在得到没有见过的主题时，性能不如Bert。

  • Wikipedia section triplets dataset

在这里插入图片描述
从表中可以看到，对比于Dor et al论文的方法有很大的提升。

  • 句向量评测 SentEval

在这里插入图片描述
从表中可以看到，对比于Glove，BERT和Universal Sentence Encoder，SBERT在大部分词向量评测上也是sota。

总之，SBERT的方法可以很好的用于语义相似度和句子对分类和一些回归的任务上，均能取得不错的效果。

论文链接：https://arxiv.org/abs/1908.10084
本人相关项目：https://github.com/Lisennlp/two_sentences_classifier

Transformer大模型实战 用SentenceBERT模型生成句子特征
AI智能涌现深度研究
01-10 1102
Transformer, Sentence-BERT, 句子嵌入, 自然语言处理, 大模型, 1. 背景介绍 在当今数据爆炸的时代，自然语言处理（NLP）领域取得了长足的进步。深度学习模型，特别是Transformer模型的出现，为NLP任务带来了革命性的改变。Transforme
Embedding技术：Sentence-BERT句嵌入模型介绍和实践
2401_85375151的博客
06-04 2471
Sentence-BERT是一种句嵌入表征模型，常用于文本语义相似度的匹配，本篇对Sentence-BERT做理论介绍，并结合领域文本数据进行实践，训练句嵌入实现语义检索。
SBERT模型——在为适配数据而苦苦寻找到的相关度模型
weixin_42981258的博客
12-12 657
加载预训练的SBERT模型# 产品描述# 加载Excel文件file_path = '/content/test_final.csv' # 修改为您的文件路径# 清除“月xxx量”和“xxx份额”中为空值的行df.dropna(subset=['月xxx量', 'xxx份额'], inplace=True)# 数据清洗：去除重复的关键词，转换为小写df['关键词'] = df['关键词'].str.lower().drop_duplicates()# 生成产品描述的嵌入。
中文语义相似度检测AI模型实践
最新发布
inksnowHL的博客
03-25 339
中文语义相似度检测AI模型实践
BertSimilarity：使用Google的BERT算法计算两个句子的相似度。利用Bert计算句子相似度。语义相似度计算
02-03
伯特相似度 基于Google的BERT模型来进行语义相似度计算。代码基于tensorflow 1。 1.基本原理 简单来说就是将需要需要计算的相似性的两个句子先分解在一起，然后通过伯特模型获取获取整体的编码信息，然后通过全连接层将维，输出相似和不相似的概率。 1.1模型结构 模型结构所示如下： 1.1.1数据预处理 本文使用Bert模型计算相似度前，首先要对输入数据进行预处理，例如当要处理的文本是： 如何得知关闭借呗 想永久关闭借呗 首先进行文本按token化，切成分割的文字排列： [如 何 得 知 关 闭 借 呗] [想 永 久 关 闭 借 呗] 然后将两个切分后的句子，按照如下的方式
心法利器[7] | 漫谈语义相似度与语义向量表征
baidu_25854831的博客
11-08 800
【前沿重器】全新栏目，本栏目主要和大家一起讨论近期自己学习的心得和体会，与大家一起成长。具体介绍：仓颉专项：飞机大炮我都会，利器心法我还有。往期回顾心法利器[2] | 统计语言模型使用反...
sentence-BERT
张寂黯的博客
12-22 1099
论文阅读笔记
Bert Sentence Similarity：基于Transformer的语义相似度计算工具
gitblog_00038的博客
04-04 827
Bert Sentence Similarity：基于Transformer的语义相似度计算工具 去发现同类优质开源项目:https://gitcode.com/ 项目简介 是一个基于预训练模型BERT的Python库，它旨在帮助开发者和研究人员快速、有效地计算两个句子之间的语义相似度。该项目提供了简单易用的API，使用户能够轻松集成到自己的应用程序中，进行深度文本理解和比较。 技术解析 BERT...
Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks下载
03-21
### Sentence-BERT: Sentence Embeddings Using Siamese BERT-Networks #### 概述 在自然语言处理（NLP）领域，预训练模型如BERT（Bidirectional Encoder Representations from Transformers）及其变种RoBERTa已...
论文笔记--Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks
weixin_38124427的博客
05-16 751
BERT系列文章阅读之SBERT：一种更快更优的文本对分析方法
Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks
m0_48923489的博客
04-07 1425
改文章为了解决相似文本对的快速搜索问题，提出了一种基于孪生网络的有监督训练分类训练，目的是帮助模型获得有效的句子特征。实验结果表明了该方法的有效性，改论文数据比较老的论文，现在普遍采用的方式都是基于对比学习的方式。消融实验仅仅给出了实验结果，并未对结果进行分析。算是科普了几种方法吧。
论文：Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks翻译笔记（句子嵌入、语义搜索）
weixin_56242678的博客
03-15 1166
Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks论文翻译笔记，有关句子嵌入、语义检索等。
论文笔记 | Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks
u011150266的博客
07-08 917
作者：迪 单位：燕山大学 论文地址 代码地址 论文来源：EMNLP2019 前言   虽然BERT和RoBERTa在诸如文本语义相似度等任务上达到了SOTA效果，但是它们还存在一些缺点：在这些任务中，它们需要将比较的两个句子都传入到模型中计算，计算开销过大。BERT模型在一个1W句子集合中，找出最相近的一个句子对，需要5千万次推断计算（约65小时）才能完成，所以BERT并不适合语义相似度搜索等任务。   在该论文中，作者提出了一个新的模型，Sentence-BERT（简称SBERT）。SBERT采用..
使用gensim框架及Word2Vec词向量模型获取相似词
向日葵的专属太阳
12-16 2833
使用gensim框架及Word2Vec词向量模型获取相似词预备知识Word2Vec模型下载加载词向量模型 预备知识 gensim框架 gensim是基于Python的一个框架，它不但将Python与Word2Vec做了整合，还提供了基于LSA、LDA、HDP的主体框架。 Word2Vec Word2Vec属于一种神经网络架构的概率语言模型 两个重要模型 CBOW模型：CBOW模型是Word2Vec最重要的模型,输入是周围词的词向量，输出是当前词的词向量。即通过周围词来预测当前词。 Skip-Gram
Sentence-BERT 论文阅读
谁谓荼苦，其甘如荠
05-25 9071
BERT、RoBERTa已经在文本语义相似度任务（semantic textual similarity ，STS）上达到了sota。然而，BERT要求句子对拼接到一起再传入模型中，这会导致巨大的计算开销——例如，在10000条句子中寻找最相似的两条，则需要约5*10^7次计算，如果使用BERT，则需要约65小时，这导致许多涉及篇章向量的任务，如相似度计算、聚类等无从开展。 基于此，我们提出了sentence-BERT（SBERT），它使用基于预训练过的BERT的孪生网络，获得在语义上有足够意义的篇章向.
Sentence-BERT详解
热门推荐
mathor的博客
10-13 1万+
简述 BERT和RoBERTa在文本语义相似度（Semantic Textual Similarity）等句子对的回归任务上，已经达到了SOTA的结果。但是，它们都需要把两个句子同时送入网络，这样会导致巨大的计算开销：从10000个句子中找出最相似的句子对，大概需要5000万(C100002=49,995,000C_{10000}^2=49,995,000C100002​=49,995,000)个推理计算，在V100GPU上耗时约65个小时。这种结构使得BERT不适合语义相似度搜索，同样也不适合无监督任务，
【EMNLP 2019】Sentence-BERT
09-15 2026
在许多NLP任务（特别是在文本语义匹、文本向量检索等）需要训练优质的句子表示向量，模型通过计算两个句子编码后的Embedding在表示空间的相似度来衡量这两个句子语义上的相关程度，从而决定其匹配分数。尽管基于BERT在诸多NLP任务上取得了不错的性能，但其自身导出的句向量（【CLS】输出的向量、对所有输出字词token向量求平均）质量较低。由于BERT输出token向量预训练中，后面接的的分类的任务。所以其实输出token向量并不适合作为生成句子表示。
使用sentence-bert转换向量的代码
09-13
### 回答1： Sentence-BERT是一种自然语言处理模型，可用于将句子转换为向量表示。下面是一个使用Python代码的示例，展示如何使用Sentence-BERT转换句子为向量。 首先，需要安装Sentence-BERT的Python包。可以使用以下命令安装： ``` pip install sentence-transformers ``` 然后，可以使用以下代码加载Sentence-BERT模型并将句子转换为向量： ```python from sentence_transformers import SentenceTransformer # 加载Sentence-BERT模型 model = SentenceTransformer('bert-base-nli-mean-tokens') # 定义句子列表 sentences = ['这是一个句子', '这是另一个句子'] # 将句子转换为向量 sentence_embeddings = model.encode(sentences) # 打印结果 print(sentence_embeddings) ``` 上述代码将输出一个形如`[array([...], dtype=float32), array([...], dtype=float32)]`的列表，其中每个数组都是对应句子的向量表示。 请注意，这是一个简化的示例，实际应用中还可能有更多的参数和配置。建议您参考Sentence-BERT的文档，了解更多信息。 ### 回答2： Sentence-BERT是一种预训练的BERT模型，专门用于生成文本句子的嵌入向量。使用Sentence-BERT来转换句子为向量的代码如下： 首先，需要安装相应的Python依赖库，包括transformers和torch等。 ```python from sentence_transformers import SentenceTransformer, util import torch # 加载Sentence-BERT模型 model = SentenceTransformer('bert-base-nli-mean-tokens') # 需要转换为向量的句子 sentences = ['这是一个例子句子1', '这是一个例子句子2'] # 将句子进行转换为向量 sentence_embeddings = model.encode(sentences, convert_to_tensor=True) # 打印转换后的句向量 for sentence, embedding in zip(sentences, sentence_embeddings): print("句子:", sentence) print("向量:", embedding) print("") ``` 上述代码首先加载了Sentence-BERT模型，其中选择了预训练的bert-base-nli-mean-tokens模型，也可以使用其他预训练模型。然后，定义了要转换为向量的句子列表。接下来，调用`model.encode()`方法，将句子列表作为参数传递进去，该方法会返回句子的嵌入向量。最后，通过迭代句子列表和嵌入向量列表，可以打印出每个句子及其对应的向量表示。 需要注意的是，转换后的向量是一个torch.Tensor对象，可以通过`embedding.tolist()`将其转换为列表形式。另外，如果想计算两个句子之间的相似度，可以使用`util.pytorch_cos_sim()`方法来计算余弦相似度。 ### 回答3： Sentence-BERT（SBERT）是一种用于生成文本向量的预训练模型，它可以将句子转换为词向量表示。以下是一个使用Sentence-BERT转换向量的Python代码示例： 1. 安装必要的库： ```python !pip install -U sentence-transformers ``` 2. 导入必要的库： ```python from sentence_transformers import SentenceTransformer ``` 3. 加载预训练模型： ```python model = SentenceTransformer('paraphrase-MiniLM-L6-v2') ``` 这里我们加载了SBERT的一个预训练模型，例如：'paraphrase-MiniLM-L6-v2'。你也可以根据需要选择其他预训练模型。 4. 转换句子为向量： ```python sentence = '这是一个例子句子。' sentence_embedding = model.encode([sentence]) ``` 我们将待转换句子作为列表传递给模型的encode()方法，该方法将返回一个包含句子向量的列表。在这个例子中，我们只有一个句子，因此输出将是一个长度为1的列表。 5. 打印转换结果： ```python print('句子向量的维度：', len(sentence_embedding[0]), '维') print('句子向量：', sentence_embedding[0]) ``` 这里我们打印了输出向量的维度和向量本身。 通过以上代码，我们可以获得原始句子的向量表示。你还可以使用这些向量进行句子相似性计算、聚类、检索等自然语言处理任务。
评论 17
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值