SBERT（Sentence-BERT）模型介绍

于 2024-12-10 15:10:55 发布
阅读量2.8k 收藏 17
点赞数 23
分类专栏： NLP 文章标签： bert 人工智能 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/panshengnan/article/details/144374279
版权

SBERT（Sentence-BERT） 是基于 BERT 的一种变体，专为生成句子嵌入（Sentence Embeddings）而设计，主要用于计算语义相似度、文本聚类和信息检索等任务。它的核心目标是通过优化语义嵌入的生成，使得计算句子对之间的相似度更加高效。

SBERT 的提出解决了原始 BERT 模型在语义相似度计算中效率低下的问题。原始 BERT 在处理句子对时需要对每对句子进行联合编码，而 SBERT 通过引入句子嵌入，仅需对每个句子编码一次，大幅提高了效率。

SBERT 的特点

句子嵌入（Sentence Embeddings）：SBERT 将每个句子表示为固定长度的向量，适合用于相似度计算、聚类等任务。

高效性：SBERT 对句子进行独立编码，只需计算一次句子嵌入，而不是每次对句子对重新计算。

多任务适用性：SBERT 可用于文本语义相似度计算、自然语言推理（NLI）、信息检索、问答系统等多种任务。

可微调性：SBERT 可以在特定任务上微调，例如自然语言推理任务（NLI）、语义文本相似度任务（STS）等。

SBERT 的工作流程

SBERT 的工作流程包括以下步骤：

1. 输入处理

  • 输入的句子或句子对被分词并转换为 BERT 格式（包括 [CLS] 和 [SEP]）。
  • 如果是句子对（例如，用于训练阶段的 NLI 数据），两句子被拼接在一起。

2. 句子编码

  • 输入的句子通过预训练的 BERT 或其变体（如 RoBERTa、DistilBERT）编码，生成每个词的上下文表示（token embeddings）。
  • SBERT 的关键改进在于：
    • 句子独立编码：每个句子单独通过 BERT 编码，生成句子的嵌入表示。

3. 池化层

  • BERT 的输出是每个词的嵌入，SBERT 通过池化操作生成句子的固定长度表示：
    • 常用的池化方法是 mean-pooling，即对所有词的嵌入取平均值，作为句子的全局表示。
    • 也可以使用 [CLS] token 的嵌入作为句子表示。

4. 训练目标

SBERT 使用了专门的训练目标来优化语义嵌入的生成，常见的任务包括：

自然语言推理（NLI）任务：

    • 训练模型判断句子对的推理关系：是否为推导（entailment）、矛盾（contradiction）或中性（neutral）。
    • 通过这样的任务，模型学习到如何区分语义上的细微差异。

语义文本相似度（STS）任务：

    • 训练模型预测句子对的相似度分数（例如 0 到 5 的范围）。
    • 使用余弦相似度等度量方法评估嵌入的质量。

对比学习：使用三元组（anchor、positive、negative）优化嵌入，使得相似句子的嵌入更接近，不相似句子的嵌入更远。

5. 输出嵌入

  • 每个句子被表示为一个固定维度的向量（通常是 768 维）。
  • 嵌入向量可直接用于语义相似度计算、聚类、检索等任务。

SBERT 的架构与训练方式

SBERT 基于 BERT 架构，但针对句子嵌入任务做了优化。

架构

输入层：

    • 输入单个句子或句子对。
    • 句子对格式：[CLS] sentence1 [SEP] sentence2 [SEP]。

编码层：

    • 使用预训练的 BERT 或其变体，独立编码每个句子。
    • BERT 输出每个词的上下文嵌入。

池化层：使用 mean-pooling 或 [CLS] token 提取全局句子嵌入。

训练目标：使用特定任务（如 NLI 或 STS 数据）微调模型，优化句子嵌入。

训练数据

  • NLI 数据集（自然语言推理）：包括 SNLI、MultiNLI 数据集，训练模型区分句子对之间的推理关系（推导、矛盾、中性）。
  • STS 数据集（语义文本相似度）：用于训练模型生成能够反映句子对语义相似度的嵌入。

SBERT 的主要应用场景

语义相似度计算:  输入两个句子，计算它们之间的语义相似度（如使用余弦相似度）。

信息检索: 将文档和查询嵌入到向量空间，通过最近邻搜索快速检索相关内容。

问答系统: 通过句子嵌入实现用户问题与答案之间的语义匹配。

文本聚类: 通过句子嵌入进行聚类，自动将相似主题的句子分组。

跨语言表示: SBERT 支持多语言版本，可用于跨语言语义相似度任务。

SBERT 的优缺点

优点

  1. 高效：SBERT 对每个句子只编码一次，嵌入可重复使用，大幅提高了计算效率。
  2. 易用性：提供了大量的预训练模型，可以直接加载并应用于任务。
  3. 广泛适用性：可用于语义相似度、检索、聚类、问答等多种任务。
  4. 跨语言支持：多语言模型适合跨语言任务。

缺点

  1. 依赖高质量训练数据：微调时需要大规模、高质量的句子对数据。
  2. 长句处理：对非常长的句子或段落，表现可能会有所下降（需要切分或分块处理）。
  3. 嵌入维度限制：嵌入向量的维度固定，可能需要降维以适应某些任务。

SBERT 的流行预训练模型

以下是一些常用的 SBERT 模型，可以通过 sentence-transformers 库直接加载：

all-MiniLM-L6-v2：轻量级模型，性能和效率的平衡。

paraphrase-MPNet-base-v2：更强大的模型，适合更高精度的任务。distiluse-base-multilingual-cased：支持多语言的句子嵌入模型。

总结

  • SBERT 是一种专为语义相似度优化的高效变体 BERT 模型。
  • 通过生成固定长度的句子嵌入，SBERT 极大提高了计算效率，尤其适用于相似度计算、聚类和检索等任务。
  • 借助 sentence-transformers 库，SBERT 提供了多种预训练模型和便捷的接口，广泛应用于 NLP 的各个场景中。
大型语言模型：SBERT — Sentence-BERT
gongdiwudu的专栏
12-19 5436
Transformer在 NLP 方面取得了进化进步，这已经不是什么秘密了。基于转换器，许多其他机器学习模型已经发展起来。其中之一是BERT，它主要由几个堆叠的变压器编码器组成。除了用于情感分析或问答等一系列不同的问题外，BERT在构建词嵌入（表示词的语义含义的数字向量）方面也越来越受欢迎。
Sentence-BERT模型的句子级语义相似
寻梦友的博客
02-23 104
在很多专业场景下，传统的搜索引擎不能满足客户灵活性问题的“解答”。深入理解客户问题的语义信息，是传统搜索需要解决的一大难题。在一些应用场景中，当用户不知道搜索什么内容时，或者输入相应内容希望得到结果，这时候普通ES索引是不太精准了，因为它不理解用户的语义。例如：“苹果公司发布了新款手机” 和 “苹果推出了新的移动设备”、“如何制作蛋糕”和“蛋糕的制作方法”等等，这些问题在词语上相近较少，但语义上相似度极高。如何去解决上面的问题？--------S-BERT模型实现句子级语义信息表达。
NLP实践——基于SBERT的语义搜索，语义相似度计算，SimCSE、GenQ等无监督训练
weixin_44826203的博客
08-23 1万+
基于SBERT的语义搜索，语义相似度计算，SimCSE、GenQ等无监督训练0. 由SBERT引发的一些思考1. SBERT介绍2. 基本应用2.1 语义相似度计算2.2 语义搜索2.3 召回重排2.4 聚类和主题模型2.5 图片检索3. 无监督方法的训练3.1 SimCSE3.2 TSDAE3.3 GenQ3.4 CT 0. 由SBERT引发的一些思考 今年年初对比学习在深度学习领域广受关注，尤其是SimCSE等方法，在无监督和小样本的场景下取得了很大的成功。无论是Sentence Bert还是SimCS
【BERT系列】SBERT的分析
~yzzheng～的博客
10-04 2965
读SBERT论文的一些报告 其次，在计算上，有与BERT是做NSP任务上是两个句子投入到BERT里面算，那么总共需要计算次数就是n*（n-1）/2次，1w的句子需要49995000次运算，作者用V100GPU上花了65h。原文是这样描述： 而作者在文章中夹带用SBERT计算1w个句子向量只需要5s，然后就散cosine相似度约0.01秒，原文描述如下： 从bert和Sbert结构上看 原生bert的计算句子向量结构图： 而SBERT分开两个网络，彼此独立计算句子向量，也就是它的复杂度是O((lenA
语义相似度模型SBERT ——一个挛生网络的优美范例
谢彦的技术博客
10-05 2853
论文地址：https://arxiv.org/abs/1908.10084 论文中文翻译：https://www.cnblogs.com/gczr/p/12874409.html 源码下载：https://github.com/UKPLab/sentence-transformers 相关网站：https://www.sbert.net/ “论文中文翻译”已相当清楚，故本篇不再翻译，只简单介绍SBERT的原理，以及训练和使用中文相似度模型的方法和效果。 原理 挛生网络Siamese network（后
浅试一下SBERT
qq_44793031的博客
05-18 706
浅试一下sentence transformer，简单写了一个测试方法。
Embedding技术：Sentence-BERT句嵌入模型介绍和实践
2401_85375151的博客
06-04 2474
Sentence-BERT是一种句嵌入表征模型，常用于文本语义相似度的匹配，本篇对Sentence-BERT做理论介绍，并结合领域文本数据进行实践，训练句嵌入实现语义检索。
sbert笔记
zh515858237的专栏
05-24 2044
一、sbert是啥意思 挛生网络Siamese network（后简称SBERT），其中Siamese意为“连体人”，即两人共用部分器官。SBERT模型的子网络都使用BERT模型，且两个BERT模型共享参数。当对比A,B两个句子相似度时，它们分别输入BERT网络，输出是两组表征句子的向量，然后计算二者的相似度；利用该原理还可以使用向量聚类，实现无监督学习任务。 参考文献： https://www.jianshu.com/p/3b1bad16c351 ........................
Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks下载
03-21
### Sentence-BERT: Sentence Embeddings Using Siamese BERT-Networks #### 概述 在自然语言处理（NLP）领域，预训练模型如BERT（Bidirectional Encoder Representations from Transformers）及其变种RoBERTa已...
《基于Sentence-BERT训练自己的文本相似度模型》源代码
08-06
Sentence-BERT(SBERT)网络利用孪生网络和三胞胎网络结构生成具有语义意义的句子embedding向量，语义相近的句子其embedding向量距离就比较近，从而可以用来进行相似度计算(余弦相似度、曼哈顿距离、欧式距离)。...
以Django为后端，使用Sentence-bert模型和Bert模型完成的毕业设计
04-09
在这个基于Django的毕业设计项目中，开发者使用了Sentence-BERT和BERT模型来处理自然语言处理（NLP）任务，这通常涉及到文本相似度计算、情感分析或信息检索等应用场景。下面将详细介绍这两个模型以及Django框架在...
详细介绍Sentence-BERT:使用连体BERT网络的句子嵌入
zag666的博客
01-30 5063
Sentence-BERT（SBERT）是一个使用连体和三连体BERT网络的修改，能够得出有语义的句子嵌入。这使得BERT能够用于某些目前为止还不适用于BERT的新任务。这些任务包括大规模的语义相似性比较、聚类和通过语义搜索的信息检索。BERT在各种句子分类和句子对回归任务上创造了新的最先进的性能。BERT使用交叉编码器：两个句子被传递给transformer网络并预测目标值。然而由于可能的组合太多，这种设置不适合各种配对回归任务。
Sentence-BERT实战
日积月累，天道酬勤
09-24 1万+
本文主要介绍了SBERT作者提供的官方模块的使用实战。
语义相似度、句向量生成超强模型之SBERT《Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks》
热门推荐
Lisen’s blog
05-09 2万+
1 前言 随着18年底Bert的面世，NLP进入了预训练模型的时代。各大预训练模型如GPT-2，Robert，XLNet，Transformer-XL，Albert，T5等等层数不穷。但是几乎大部分的这些模型均不适合语义相似度搜索，也不适合非监督任务，比如聚类。而解决聚类和语义搜索的一种常见方法是将每个句子映射到一个向量空间，使得语义相似的句子很接近。说到这，可能有的人会尝试将整个句子输入预训练模型中，得到该句的句向量，然后作为句子的句向量表示。但是这样得到的句向量真的好吗？在论文《Sentence-BER
Augmented SBERT
zephyr_wang的博客
08-10 667
1 简介 句子对评分任务（Pairwise sentence scoring tasks）在NLP上有非常广泛的应用，如信息检索、问答、复制问题检测、聚类等。 有两种处理句子对的方法： （1）cross-encoder，两个句子同时输入到网络模型中，对输入句子对采用全注意力方法，如BERT，其有较好的表现力，却在实际场景中运行效率低、开销大。如在n=10000个句子中找到相似的句子对，BERT要进行n*(n-1)/2=49995000次预测计算，在单个V100 GPU上，需要运行65小时。BERT还有个缺点
SBERT学习笔记
x2__T的博客
01-17 1600
BERT（Devlin 等人，2018 年）和 RoBERT a（Liu 等人，2019 年）在句对回归任务，如语义文本相似性（STS））上设置了一个新的最先进的性能。然而，它需要将两个句子都输入网络，这会导致巨大的计算开销：在 10,000 个句子的集合中找到最相似的对需要使用 BERT 进行大约 5000 万次推理计算（约 65 小时）。BERT 不适用于语义相似性搜索以及聚类等无监督任务。SBERT：孪生网络和三元组网络结构来导出具有语义意义的句子嵌入，可以使用余弦相似度进行比较。
SBERT模型——在为适配数据而苦苦寻找到的相关度模型
weixin_42981258的博客
12-12 657
加载预训练的SBERT模型# 产品描述# 加载Excel文件file_path = '/content/test_final.csv' # 修改为您的文件路径# 清除“月xxx量”和“xxx份额”中为空值的行df.dropna(subset=['月xxx量', 'xxx份额'], inplace=True)# 数据清洗：去除重复的关键词，转换为小写df['关键词'] = df['关键词'].str.lower().drop_duplicates()# 生成产品描述的嵌入。
SBERT实验详情
choose_c的博客
02-22 2693
1.模型介绍 a.预训练模型： Electra-small 在180G中文数据下pre-trainning模型； 使用Transformers加载"hfl/chinese-electra-180g-small-generator"语言模型。 b.模型结构： A、B两个句子，分别过同一个Electra-small模型。 分别得到句向量表示，Seq_A_vector、Seq_B_vector。 两个向量进行拼接，[Seq_A_vector, Seq_B_vector]，拼接成一个向...
SBERT论文详解
ws_nlp_的博客
05-20 3227
Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks Abstract BERT在句对回归任务中表现很好，但是计算开销很大。 我们使用孪生网络对BERT做fine-tune使得句向量可以用于cos相似度计算，减少开销，保持准确。 评估后效果比SOTA较好。 Introduction SBERT使得BERT适用于句对回归，聚类，文本信息检索。 原始BERT需要输入两个句子，句对回归开销大。 改进方法输入一个句子，使用ave或者CLS，效果
sbert資料檢索
最新发布
03-14
### 使用SBERT进行资料检索的应用与实现 #### 1. SBERT简介及其在资料检索中的作用 SBERT（Sentence-BERT）是一种改进版的BERT模型，专门用于高效生成句子嵌入向量。相比原始的BERT模型，SBERT能够更快速地计算句子之间的相似度，并且适用于多种自然语言处理任务，例如语义搜索、聚类分析以及问答系统等[^2]。 在资料检索场景下，SBERT可以用来将查询文本和文档集合转换为高维空间中的稠密向量表示。随后，通过比较这些向量间的距离来衡量它们的相关性。通常情况下，余弦相似度被广泛应用于此类任务中作为评估标准之一[^4]。 #### 2. 实现流程概述 为了完成一次完整的基于SBERT的资料检索过程，主要涉及以下几个方面的工作： - **安装必要的库** 需要先安装`sentence-transformers`库以及其他辅助工具如FAISS来进行高效的索引构建与查找操作。 - **加载预训练模型** 可以直接从Hugging Face Model Hub下载适合特定应用场景需求的不同版本的SBERT模型。 - **编码待查数据集并建立索引结构** 对整个数据库内的每一条记录执行前向传播得到对应的固定长度数值型数组形式表达；接着把这些结果存储到内存或者磁盘上以便后续访问调用。 - **在线推理阶段——接受新请求并对齐目标对象位置信息返回最佳匹配项列表** 以下是具体的操作指南及相关Python脚本展示部分功能模块逻辑框架图解说明如下所示: ```python from sentence_transformers import SentenceTransformer, util import faiss import numpy as np # 加载预先训练好的SBERT模型 model_name = 'all-MiniLM-L6-v2' # 更多选项可参见 https://www.sbert.net/docs/pretrained_models.html model = SentenceTransformer(model_name) # 假设我们有一个包含多个字符串条目的小型语料库 corpus = ['这是一篇关于人工智能的文章。', '机器学习正在改变我们的生活.', '深度神经网络推动了许多技术进步'] # 将语料库转化为句向量 embeddings_corpus = model.encode(corpus, convert_to_tensor=True).cpu().numpy() # 初始化Faiss索引器 (这里选用L2范数简单演示) dimensionality = embeddings_corpus.shape[1] index = faiss.IndexFlatL2(dimensionality) # 创建平面索引 index.add(embeddings_corpus.astype('float32')) # 添加至索引 def search(query_text, top_k=3): """给定一个问题/短语，找到最接近它的top-k篇文章""" query_embedding = model.encode([query_text], convert_to_tensor=True).cpu().numpy() distances, indices = index.search(query_embedding, k=top_k) results = [(distances[0][i], corpus[idx]) for i, idx in enumerate(indices[0])] return sorted(results, key=lambda x:x[0]) if __name__ == "__main__": user_query = input("请输入您的问题:") matches = search(user_query) print("\nTop Matches:\n") for dist, doc in matches: print(f"Distance={round(dist, 4)}, Document='{doc}'\n") ``` 上述代码片段展示了如何利用SBERT配合FAISS加速大规模近似最近邻搜索的过程。值得注意的是，在实际部署过程中还需要考虑诸如性能优化、资源管理等问题。 --- ###
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值