SBERT和BERT的区别和联系

已于 2024-12-10 14:03:10 修改
阅读量1.1k 收藏 16
点赞数 11
分类专栏： NLP 文章标签： nlp
于 2024-12-09 11:17:25 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/panshengnan/article/details/144341725
版权

SBERT 和 BERT 的区别和联系

BERT（Bidirectional Encoder Representations from Transformers） 和 SBERT（Sentence-BERT） 都是基于 Transformer 架构的模型。SBERT 是 BERT 的一个改进变体，针对句子嵌入和语义相似度计算任务进行了优化。

SBERT 与 BERT 的联系

  1. 相同的基础架构：

    • SBERT 完全基于 BERT，使用了相同的 Transformer 架构。
    • 它继承了 BERT 的多头自注意力机制（Multi-Head Attention）和双向上下文表示（Bidirectional Contextual Representations）。

  2. 共享预训练权重：

    • SBERT 的初始化权重来自于 BERT 的预训练模型，例如 bert-base-uncased 或 roberta-base。

  3. 输入编码方式：

    • 两者都将输入文本分词（Tokenization）为子词，并在输入中使用特殊标记 [CLS] 和 [SEP]。

  4. 丰富的语义表示：

    • 两者都能捕捉上下文相关的语义信息，适用于多种 NLP 任务。

SBERT 与 BERT 的区别

方面BERTSBERT
设计目标通用语言建模，适合多种 NLP 任务高效生成句子嵌入，优化语义相似度计算任务
输入方式句子对需拼接在一起，联合输入每个句子单独编码，生成独立的句子嵌入
输出每个 Token 的上下文表示（Token Embeddings）句子的全局表示（Sentence Embeddings）
语义相似度计算效率每对句子都需重新输入并编码，效率低嵌入计算一次后可复用，效率高
池化层（Pooling Layer）没有明确的句子池化层，需手动选择 [CLS] 或取均值使用 Mean-Pooling 或 [CLS] 自动生成句子嵌入
微调任务分类任务、问答系统、序列标注等语义相似度计算、信息检索、文本聚类等
效率针对句子对任务效率低特别优化了大规模语义相似度计算任务

详细解析：SBERT 如何改进 BERT 的不足

1. 针对句子嵌入的优化
  • BERT 的问题：
    • BERT 并未专门设计用于句子嵌入。
    • 在语义相似度任务中，BERT 需要将两个句子拼接后输入模型进行联合编码。
    • 每计算一对句子，都需要重复计算，时间复杂度高。
  • SBERT 的改进：
    • SBERT 引入了句子级别的独立编码机制，每个句子只需编码一次，生成的嵌入可以重复使用。
    • 通过余弦相似度或其他度量方式计算句子间的相似度，大幅提高了效率。
2. 增加池化层
  • BERT 的问题：
    • BERT 输出的是每个 Token 的嵌入，没有直接提供句子级别的嵌入。
    • 使用 BERT 时，需手动从 [CLS] Token 或取词向量均值生成句子嵌入。
  • SBERT 的改进：
    • SBERT 在编码器后增加了池化层（Pooling Layer），自动生成句子级别的固定长度嵌入。
    • 常用的池化方法包括：
      • Mean-Pooling：对所有 Token 的嵌入取平均值。
      • [CLS] Token：直接使用 [CLS] 的嵌入。
3. 微调任务的不同
  • BERT：
    • BERT 的预训练目标是掩码语言模型（MLM）和下一句预测（NSP），这些目标生成的是通用的语言表示。
    • 微调时，BERT 被用于分类任务（如情感分析）、序列标注任务（如命名实体识别）和问答系统。
  • SBERT：
    • SBERT 的微调任务聚焦于句子级别的任务，如：
      • 语义文本相似度（STS）：预测句子对的相似度分数。
      • 自然语言推理（NLI）：判断句子对的逻辑关系（Entailment、Neutral、Contradiction）。
4. 计算效率的不同
  • BERT：
    • 每对句子必须拼接后重新输入模型进行计算。
    • 时间复杂度较高，尤其在大规模语义搜索场景中效率低下。
  • SBERT：
    • 每个句子独立编码，只需计算一次嵌入。
    • 后续的相似度计算只需简单的数学操作（如余弦相似度）。

BERT 和 SBERT 的示例对比

使用 BERT 计算句子对相似度
 

python
 

复制代码
 

from transformers import AutoTokenizer, AutoModel import torch # 加载 BERT 模型和分词器 tokenizer = AutoTokenizer.from_pretrained("bert-base-uncased") model = AutoModel.from_pretrained("bert-base-uncased") # 输入句子对 sentence1 = "A man is playing a guitar." sentence2 = "Someone is performing music." # 拼接句子 inputs = tokenizer(sentence1, sentence2, return_tensors="pt", padding=True, truncation=True) # 获取 BERT 输出 outputs = model(**inputs) embedding = outputs.last_hidden_state[:, 0, :] # 通常使用 [CLS] 的嵌入 print("Embedding shape:", embedding.shape) # 输出形状 (1, 768) 
 

问题：每次计算新句子对都需重新编码，效率低。
 

 

使用 SBERT 计算句子对相似度
 

 

python
 

复制代码
 

from sentence_transformers import SentenceTransformer from sklearn.metrics.pairwise import cosine_similarity # 加载 SBERT 模型 model = SentenceTransformer("all-MiniLM-L6-v2") # 输入句子 sentence1 = "A man is playing a guitar." sentence2 = "Someone is performing music." # 生成句子嵌入 embedding1 = model.encode(sentence1) embedding2 = model.encode(sentence2) # 计算余弦相似度 similarity = cosine_similarity([embedding1], [embedding2]) print(f"Semantic Similarity: {similarity[0][0]:.4f}") 
 

优点：每个句子嵌入只需计算一次，后续可重复使用，适合大规模检索和相似度计算。
 

 

应用场景的不同
 

BERT 的应用场景
 

  • 文本分类： 
  
    • 例如情感分析、垃圾邮件检测。
  • 序列标注： 
  
    • 例如命名实体识别（NER）、词性标注。
  • 问答系统： 
  
    • 例如基于 SQuAD 数据集的问答任务。
 

SBERT 的应用场景
 

  • 语义相似度计算： 
  
    • 判断两个句子的语义相似度。
  • 信息检索： 
  
    • 根据查询句子检索语义相关的文档或句子。
  • 文本聚类： 
  
    • 按语义相似性将句子或文档分组。
  • 语义搜索： 
  
    • 生成用户查询的嵌入，快速匹配相关内容。
  • 跨语言任务： 
  
    • 多语言 SBERT 支持跨语言语义相似度计算。
 

 

总结
 

联系
 

  • SBERT 是基于 BERT 的改进模型，完全继承了 BERT 的架构和预训练权重。
  • 两者都能生成上下文相关的语义表示，适用于多种 NLP 任务。
 

区别
 

  • 任务目标：BERT 是通用模型，SBERT 针对句子嵌入和语义相似度优化。
  • 计算效率：SBERT 适合大规模检索和相似度计算，效率更高。
  • 输出层：SBERT 提供了明确的句子嵌入，而 BERT 没有专门设计这一功能。
 

在实际应用中，如果需要处理广泛的 NLP 任务，如分类或问答，BERT 是更通用的模型。如果任务涉及句子或文本的语义相似度计算、信息检索或文本聚类，SBERT 是更高效的选择。
 

 


                

        

    

  



    


                



	

		

			

				
					
算法面试之Bert句表示、SBERT、SimBert

				
			

			

				

					持续战斗状态的博客
				

				

					09-08
					
					1519
					
				

			

		

		

			
				
Bert中最常用的句向量方式是采用cls标记位或者平均所有位置的输出值，注意，在采用平均的方式的时候，我们需要先做一个mask的操作，计算均值时，除以mask的和。但bert的句子向量效果不理想。

			
		

	



                

            
              



	

		

			

				
					
大型语言模型：SBERT — Sentence-BERT

				
			

			

				

					gongdiwudu的专栏
				

				

					12-19
					
					5417
					
				

			

		

		

			
				
Transformer在 NLP 方面取得了进化进步，这已经不是什么秘密了。基于转换器，许多其他机器学习模型已经发展起来。其中之一是BERT，它主要由几个堆叠的变压器编码器组成。除了用于情感分析或问答等一系列不同的问题外，BERT在构建词嵌入（表示词的语义含义的数字向量）方面也越来越受欢迎。

			
		

	



              


  
              

                


	

		

			

				
					
深入解析Transformers、BERT与SBERT：从原理到应用

				
			

			

				

					zhishi0000的博客
				

				

					02-04
					
					1299
					
				

			

		

		

			
				
在人工智能领域，尤其是自然语言处理（NLP）中，Transformer、BERT和SBERT已经成为技术发展的基石。然而，很多人对它们的工作原理、优缺点以及实际应用还不够了解。本篇文章将深入解析这些技术，从基础概念到最新进展，帮助你掌握背后的关键逻辑。

			
		

	





	

		

			

				
					
推荐系统学习记录——BERT、SBERT

				
			

			

				

					m0_58979029的博客
				

				

					04-07
					
					644
					
				

			

		

		

			
				
BERT（Bidirectional Encoder Representations from Transformers）是一种预训练的自然语言处理模型，由Google研究团队于2018年提出。它采用Transformer架构，并在大型文本语料库上进行了无监督的预训练。它通过对BERT进行微调或进一步训练，使得BERT能够直接产生句子级别的语义向量。这些向量可以在语义空间中捕捉句子的含义，从而用于各种句子级别的自然语言处理任务，如文本相似度计算、句子分类等。，因此在处理各种自然语言处理任务时表现出色。

			
		

	



		

			
		



	

		

			

				
					
【理论篇】是时候彻底弄懂BERT模型了(收藏)

					
热门推荐

				
			

			

				

					日积月累，天道酬勤
				

				

					09-09
					
					7万+
					
				

			

		

		

			
				
看完本篇文章后，你就真的理解BERT模型的理论知识了。

			
		

	





	

		

			

				
					
一文读懂BERT

				
			

			

				

					不可能打工的博客
				

				

					06-18
					
					874
					
				

			

		

		

			
				
一文读懂BERT（原理篇）

2018年的10月11日，Google发布的论文《Pre-training of Deep Bidirectional Transformers for Language Understanding》，成功在 11 项 NLP 任务中取得 state of the art 的结果，赢得自然语言处理学界的一片赞誉之声。

本文是对近期关于BERT论文、相关文章、代码进行学习后的知识梳理，仅为自己学习交流之用。因笔者精力有限，如果文中因引用了某些文章观点未标出处还望作者海涵，也希望

			
		

	





	

		

			

				
					
【BERT系列】SBERT的分析

				
			

			

				

					~yzzheng～的博客
				

				

					10-04
					
					2951
					
				

			

		

		

			
				
读SBERT论文的一些报告

其次，在计算上，有与BERT是做NSP任务上是两个句子投入到BERT里面算，那么总共需要计算次数就是n*（n-1）/2次，1w的句子需要49995000次运算，作者用V100GPU上花了65h。原文是这样描述：

而作者在文章中夹带用SBERT计算1w个句子向量只需要5s，然后就散cosine相似度约0.01秒，原文描述如下：

从bert和Sbert结构上看
原生bert的计算句子向量结构图：

而SBERT分开两个网络，彼此独立计算句子向量，也就是它的复杂度是O((lenA

			
		

	





	

		

			

				
					
sbert-chinese和bert

					
最新发布

				
			

			

				

					03-02
				

			

		

		

			
				
### SBERT-Chinese与BERT的主要区别  SBERT-Chinese模型基于预训练的BERT架构进行了改进，特别针对中文自然语言处理(NLP)任务优化。主要差异体现在以下几个方面：  - **语义编码效率**：相比于原始的BERT模型，SBERT...

			
		

	





	

		

			

				
					
    WrapperClass = MLMTokenizerWrapper
    bert = SentenceTransformer(distilbert-base-nli-stsb-mean-tokens)
    sbert = bert[0].auto_model
    tokenizer = bert[0].tokenizer

				
			

			

				

					07-12
				

			

		

		

			
				
通过索引 `[0]`，你获取了该句子转换器对应的 BERT 模型 `sbert`。同时，你还获取了该转换器的 tokenizer。  这里的 `distilbert-base-nli-stsb-mean-tokens` 是一个预训练的 BERT 模型，用于计算句子的向量表示。它...

			
		

	





	

		

			

				
					
Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks下载

				
			

			

				

					03-21
				

			

		

		

			
				
为了解决这个问题，Nils Reimers和Iryna Gurevych提出了Sentence-BERT（SBERT），这是一种基于预训练BERT网络的改进版本，旨在通过使用Siamese和Triplet网络结构来提取语义上有意义的句子嵌入（embeddings）。...

			
		

	





	

		

			

				
					
用sentencebert、sbert + faiss对比学习训练词向量原理与实战

				
			

			

				

					weixin_45079449的博客
				

				

					04-28
					
					2549
					
				

			

		

		

			
				
1、推广搜：类似推荐算法，召回相似向量表征的文本2、求余弦相似度：两个词（句）向量求语义相似度。

			
		

	





	

		

			

				
					
SBERT和CoSENT模型的区别和联系

				
			

			

				

					panshengnan的专栏
				

				

					12-10
					
					920
					
				

			

		

		

			
				
都是基于 Transformer 的句子嵌入模型，旨在通过生成语义嵌入来高效计算句子间的相似度。二者在任务目标和实现方式上存在紧密的联系，同时在具体实现细节上也有显著的区别。，尤其是在短文本匹配和语义搜索中性能更优。CoSENT 示例：计算语义相似度。在中文语料上的实验结果表明，

			
		

	





	

		

			

				
					
SBERT模型转化与部署

				
			

			

				

					
				

				

					01-10
					
					1615
					
				

			

		

		

			
				
模型转化图







transformers to onnx

新创建一个空文件夹onnx，然后进入转换，否则会报错

(base) D:\fine_tune\onnx>python ../convert_graph_to_onnx.py --framework pt --model ../bert-base-cased bert-base-cased.onnx

参考：

Exporting transformers models

onnx to tensorflow pb

安装onnx.

			
		

	





	

		

			

				
					
语义相似度、句向量生成超强模型之SBERT《Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks》

				
			

			

				

					Lisen’s blog
				

				

					05-09
					
					2万+
					
				

			

		

		

			
				
1 前言
随着18年底Bert的面世，NLP进入了预训练模型的时代。各大预训练模型如GPT-2，Robert，XLNet，Transformer-XL，Albert，T5等等层数不穷。但是几乎大部分的这些模型均不适合语义相似度搜索，也不适合非监督任务，比如聚类。而解决聚类和语义搜索的一种常见方法是将每个句子映射到一个向量空间，使得语义相似的句子很接近。说到这，可能有的人会尝试将整个句子输入预训练模型中，得到该句的句向量，然后作为句子的句向量表示。但是这样得到的句向量真的好吗？在论文《Sentence-BER

			
		

	





	

		

			

				
					
[学习笔记] 神经网络之三：BERT和相似度（1）

				
			

			

				

					bull521的博客
				

				

					03-30
					
					6890
					
				

			

		

		

			
				
BERT本身提供了句子匹配的功能，它的做法是把相似度任务转化成二分类任务做的，匹配/不匹配。把两个句子先拼接成

"[CLS]" + seq1 + "[SEP]" + seq2 + "[SEP]"，然后取得[CLS]对应的向量，并经过一个sofmax，最后完成分类。

在论文Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks...

			
		

	





	

		

			

				
					
Sentence-BERT详解

				
			

			

				

					mathor的博客
				

				

					10-13
					
					1万+
					
				

			

		

		

			
				
简述
BERT和RoBERTa在文本语义相似度（Semantic Textual Similarity）等句子对的回归任务上，已经达到了SOTA的结果。但是，它们都需要把两个句子同时送入网络，这样会导致巨大的计算开销：从10000个句子中找出最相似的句子对，大概需要5000万(C100002=49,995,000C_{10000}^2=49,995,000C100002​=49,995,000)个推理计算，在V100GPU上耗时约65个小时。这种结构使得BERT不适合语义相似度搜索，同样也不适合无监督任务，

			
		

	





	

		

			

				
					
超详细BERT介绍（一）BERT主模型的结构及其组件

				
			

			

				

					gg7894125的博客
				

				

					06-21
					
					1万+
					
				

			

		

		

			
				
BERT（Bidirectional Encoder Representations from Transformers）是谷歌在2018年10月推出的深度语言表示模型。
一经推出便席卷整个NLP领域，带来了革命性的进步。
从此，无数英雄好汉竞相投身于这场追剧（芝麻街）运动。
只听得这边G家110亿，那边M家又1750亿，真是好不热闹！
然而大家真的了解BERT的具体构造，以及使用细节吗？
本文就带大家来细品一下。
前言
本系列文章分成三篇介绍BERT，本文主要介绍BERT主模型（BertModel）的结构

			
		

	





	

		

			

				
					
Sentence-BERT(SBERT)配置环境

				
			

			

				

					qq_49691652的博客
				

				

					05-27
					
					996
					
				

			

		

		

			
				
Sentence-BERT搭建环境

			
		

	



              




          




        



    





    



      

      

        
      

      





	

		评论	
	

	
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值