【BERT系列】SBERT的分析

最新推荐文章于 2024-12-10 15:10:55 发布
最新推荐文章于 2024-12-10 15:10:55 发布
阅读量2.9k 收藏 8
点赞数 2
分类专栏： # 文本相似度分析 文章标签： bert 自然语言处理 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Alearn_/article/details/120605237
版权

读SBERT论文的一些报告
1

其次，在计算上，有与BERT是做NSP任务上是两个句子投入到BERT里面算，那么总共需要计算次数就是n*（n-1）/2次，1w的句子需要49995000次运算，作者用V100GPU上花了65h。原文是这样描述：
2
而作者在文章中夹带用SBERT计算1w个句子向量只需要5s，然后就散cosine相似度约0.01秒，原文描述如下：

在这里插入图片描述

从bert和Sbert结构上看
原生bert的计算句子向量结构图：
4

而SBERT分开两个网络，彼此独立计算句子向量，也就是它的复杂度是O((lenA)2 ＋(lenB)2)，计算完后句子向量，可以直接计算cosine相似度。
而这种结构就是使用孪生的网络，下图两个bert网络共享权重，即这两个编码器都是一样的。
关于孪生网络和sentence bert这个介绍，老师您可以看

最低0.47元/天 解锁文章
大型语言模型：SBERT — Sentence-BERT
gongdiwudu的专栏
12-19 5439
Transformer在 NLP 方面取得了进化进步，这已经不是什么秘密了。基于转换器，许多其他机器学习模型已经发展起来。其中之一是BERT，它主要由几个堆叠的变压器编码器组成。除了用于情感分析或问答等一系列不同的问题外，BERT在构建词嵌入（表示词的语义含义的数字向量）方面也越来越受欢迎。
SBERT论文详解
ws_nlp_的博客
05-20 3229
Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks Abstract BERT在句对回归任务中表现很好，但是计算开销很大。 我们使用孪生网络对BERT做fine-tune使得句向量可以用于cos相似度计算，减少开销，保持准确。 评估后效果比SOTA较好。 Introduction SBERT使得BERT适用于句对回归，聚类，文本信息检索。 原始BERT需要输入两个句子，句对回归开销大。 改进方法输入一个句子，使用ave或者CLS，效果
SBERT实验详情
choose_c的博客
02-22 2694
1.模型介绍 a.预训练模型： Electra-small 在180G中文数据下pre-trainning模型； 使用Transformers加载"hfl/chinese-electra-180g-small-generator"语言模型。 b.模型结构： A、B两个句子，分别过同一个Electra-small模型。 分别得到句向量表示，Seq_A_vector、Seq_B_vector。 两个向量进行拼接，[Seq_A_vector, Seq_B_vector]，拼接成一个向...
语义相似度、句向量生成超强模型之SBERT《Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks》
Lisen’s blog
05-09 2万+
1 前言 随着18年底Bert的面世，NLP进入了预训练模型的时代。各大预训练模型如GPT-2，Robert，XLNet，Transformer-XL，Albert，T5等等层数不穷。但是几乎大部分的这些模型均不适合语义相似度搜索，也不适合非监督任务，比如聚类。而解决聚类和语义搜索的一种常见方法是将每个句子映射到一个向量空间，使得语义相似的句子很接近。说到这，可能有的人会尝试将整个句子输入预训练模型中，得到该句的句向量，然后作为句子的句向量表示。但是这样得到的句向量真的好吗？在论文《Sentence-BER
sbert笔记
zh515858237的专栏
05-24 2051
一、sbert是啥意思 挛生网络Siamese network（后简称SBERT），其中Siamese意为“连体人”，即两人共用部分器官。SBERT模型的子网络都使用BERT模型，且两个BERT模型共享参数。当对比A,B两个句子相似度时，它们分别输入BERT网络，输出是两组表征句子的向量，然后计算二者的相似度；利用该原理还可以使用向量聚类，实现无监督学习任务。 参考文献： https://www.jianshu.com/p/3b1bad16c351 ........................
Augmented SBERT
zephyr_wang的博客
08-10 667
1 简介 句子对评分任务（Pairwise sentence scoring tasks）在NLP上有非常广泛的应用，如信息检索、问答、复制问题检测、聚类等。 有两种处理句子对的方法： （1）cross-encoder，两个句子同时输入到网络模型中，对输入句子对采用全注意力方法，如BERT，其有较好的表现力，却在实际场景中运行效率低、开销大。如在n=10000个句子中找到相似的句子对，BERT要进行n*(n-1)/2=49995000次预测计算，在单个V100 GPU上，需要运行65小时。BERT还有个缺点
Sentence-BERT(SBERT)配置环境
qq_49691652的博客
05-27 1005
Sentence-BERT搭建环境
Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks下载
03-21
为了解决这个问题，Nils Reimers和Iryna Gurevych提出了Sentence-BERT（SBERT），这是一种基于预训练BERT网络的改进版本，旨在通过使用Siamese和Triplet网络结构来提取语义上有意义的句子嵌入（embeddings）。...
SBERT-WK: A Sentence Embedding Method byDissecting BERT-based Word Models
weixin_48185819的博客
12-24 929
https://arxiv.org/pdf/2002.06652.pdf I. INTRODUCTION One limitation of BERT is that due to the large model size, it is time consuming to perform sentence pair regression such as clustering and semantic search. One effective way to solve this problem i
SBERT学习笔记
x2__T的博客
01-17 1601
BERT（Devlin 等人，2018 年）和 RoBERT a（Liu 等人，2019 年）在句对回归任务，如语义文本相似性（STS））上设置了一个新的最先进的性能。然而，它需要将两个句子都输入网络，这会导致巨大的计算开销：在 10,000 个句子的集合中找到最相似的对需要使用 BERT 进行大约 5000 万次推理计算（约 65 小时）。BERT 不适用于语义相似性搜索以及聚类等无监督任务。SBERT：孪生网络和三元组网络结构来导出具有语义意义的句子嵌入，可以使用余弦相似度进行比较。
一文读懂BERT（原理篇）
weixin_40252835的博客
06-06 890
一文读懂BERT（原理篇） 2018年的10月11日，Google发布的论文《Pre-training of Deep Bidirectional Transformers for Language Understanding》，成功在 11 项 NLP 任务中取得 state o...
NLP实践——基于SBERT的语义搜索，语义相似度计算，SimCSE、GenQ等无监督训练
weixin_44826203的博客
08-23 1万+
基于SBERT的语义搜索，语义相似度计算，SimCSE、GenQ等无监督训练0. 由SBERT引发的一些思考1. SBERT介绍2. 基本应用2.1 语义相似度计算2.2 语义搜索2.3 召回重排2.4 聚类和主题模型2.5 图片检索3. 无监督方法的训练3.1 SimCSE3.2 TSDAE3.3 GenQ3.4 CT 0. 由SBERT引发的一些思考 今年年初对比学习在深度学习领域广受关注，尤其是SimCSE等方法，在无监督和小样本的场景下取得了很大的成功。无论是Sentence Bert还是SimCS
SBERT（Sentence-BERT）模型介绍
panshengnan的专栏
12-10 2875
paraphrase-MPNet-base-v2：更强大的模型，适合更高精度的任务。：使用三元组（anchor、positive、negative）优化嵌入，使得相似句子的嵌入更接近，不相似句子的嵌入更远。SBERT 的提出解决了原始 BERT 模型在语义相似度计算中效率低下的问题。SBERT 对句子进行独立编码，只需计算一次句子嵌入，而不是每次对句子对重新计算。，例如自然语言推理任务（NLI）、语义文本相似度任务（STS）等。输入两个句子，计算它们之间的语义相似度（如使用余弦相似度）。
预训练模型语义相似性计算(一)--SBERT
choose_c的博客
02-22 2940
将预训练BERT迁移到文本语义相似性思路： 1.交互编码(cross-encoder)。文本拼接后进行微调。 缺点非常耗时； 2.向量空间模型 进行无监督训练，使用BERT模型的输出的cls向量，最后一层或几层的hidden state(avg)，一般后者效果好。 效果不如glove 3.SBERT 使用孪生网络，加快推理。 SBERT： 时间消耗：每个句子生成句向量+cosine的计算； 预训练模型的选择：BERT...
用sbert写一个匹配模型 Python
weixin_42608299的博客
02-17 274
我可以给你一些参考来构建你的匹配模型。首先，您需要安装Python库和模块，如Keras和TensorFlow，以便访问和使用SBert。其次，您需要下载SBert模型，并将其加载到您的Python程序中。接下来，您需要使用Keras或TensorFlow定义您想要构建的模型，并使用SBert进行训练。最后，您可以将模型部署到您的应用程序中以供实际使用。 ...
推荐系统学习记录——BERT、SBERT
m0_58979029的博客
04-07 659
BERT（Bidirectional Encoder Representations from Transformers）是一种预训练的自然语言处理模型，由Google研究团队于2018年提出。它采用Transformer架构，并在大型文本语料库上进行了无监督的预训练。它通过对BERT进行微调或进一步训练，使得BERT能够直接产生句子级别的语义向量。这些向量可以在语义空间中捕捉句子的含义，从而用于各种句子级别的自然语言处理任务，如文本相似度计算、句子分类等。，因此在处理各种自然语言处理任务时表现出色。
算法面试之Bert句表示、SBERT、SimBert
持续战斗状态的博客
09-08 1525
Bert中最常用的句向量方式是采用cls标记位或者平均所有位置的输出值，注意，在采用平均的方式的时候，我们需要先做一个mask的操作，计算均值时，除以mask的和。但bert的句子向量效果不理想。
一文读懂BERT
不可能打工的博客
06-18 876
一文读懂BERT（原理篇） 2018年的10月11日，Google发布的论文《Pre-training of Deep Bidirectional Transformers for Language Understanding》，成功在 11 项 NLP 任务中取得 state of the art 的结果，赢得自然语言处理学界的一片赞誉之声。 本文是对近期关于BERT论文、相关文章、代码进行学习后的知识梳理，仅为自己学习交流之用。因笔者精力有限，如果文中因引用了某些文章观点未标出处还望作者海涵，也希望
【理论篇】是时候彻底弄懂BERT模型了(收藏)
热门推荐
日积月累，天道酬勤
09-09 7万+
看完本篇文章后，你就真的理解BERT模型的理论知识了。
sbert-chinese和bert
最新发布
03-02
### SBERT-Chinese与BERT的主要区别 SBERT-Chinese模型基于预训练的BERT架构进行了改进，特别针对中文自然语言处理(NLP)任务优化。主要差异体现在以下几个方面： - **语义编码效率**：相比于原始的BERT模型，SBERT-Chinese通过微调特定于句子级别的下游任务（如相似度计算），能够更高效地生成高质量的固定长度向量表示[^1]。 - **性能提升**：在多个基准测试中显示，在涉及句子间关系的任务上，比如问答匹配、文本蕴含判断等方面，经过特殊设计用于衡量文档相似性的SBERT变体往往优于标准版BERT的表现[^2]。 - **资源消耗减少**：由于采用了更加紧凑有效的结构以及参数调整策略，使得SBERT-Chinese可以在保持较高精度的同时降低硬件需求和推理时间成本[^3]。 ### 应用场景对比 对于具体的NLP应用而言，选择哪种模型取决于具体的需求： - 当面对较为复杂的理解类问题时，例如情感分析或主题分类等单句内部特征提取工作，则可以优先考虑使用原生版本的BERT来获得更为细致深入的语言表征能力； - 若项目侧重于跨句子间的关联性评估，像信息检索中的查询扩展或是社区问答平台上的帖子推荐等功能实现，则建议采用专门面向此类用途而定制化的SBERT-Chinese解决方案，因为其专为提高两段文字之间的比较效果做了针对性增强[^4]。 ```python from sentence_transformers import SentenceTransformer, util model = SentenceTransformer('paraphrase-multilingual-MiniLM-L12-v2') # 可替换为'sentence-transformers/paraphrase-xlm-r-multilingual-v1'或其他适合中文的预训练模型名称 sentences = ['这是一条关于科技发展的新闻', '科学技术正在快速发展'] embeddings = model.encode(sentences) cosine_scores = util.pytorch_cos_sim(embeddings[0], embeddings[1]) print(f"Cosine-Similarity: {cosine_scores.item():.4f}") ```
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值