[论文笔记]Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks

已于 2022-08-11 13:46:17 修改
阅读量747 收藏 2
点赞数 4
分类专栏： 论文翻译/笔记 文章标签： bert 自然语言处理 深度学习 SBERT
于 2021-09-23 08:00:34 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/yjw123456/article/details/120427177
版权
Sentence-BERT(SBERT)通过Siamese和Triplet网络改进BERT，生成句向量，解决大规模语义相似度计算问题。通过在NLI和STS数据集上的训练和评估，SBERT表现出优秀的句子相似度计算能力。
摘要由CSDN通过智能技术生成

引言

本文是SBERT(Sentence-BERT)论文1的笔记。SBERT主要用于解决BERT模型无法很好地得到句向量的问题。

核心思想

虽然BERT模型可以计算句子对之间的语义相似度，但是它需要句子对拼接在一起然后输入给BERT模型。如果需要计算10000个句子相互之间的相似度，则需要计算 10000 ⋅ ( 10000 − 1 ) / 2 = 49995000 10000 \cdot(10000-1)/2=49995000

了解本专栏 订阅专栏 解锁全文 超级会员免费看
愤怒的可乐
关注
专栏目录
订阅专栏
论文笔记 | Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks
u011150266的博客
07-08 854
作者：迪 单位：燕山大学 论文地址 代码地址 论文来源：EMNLP2019 前言   虽然BERT和RoBERTa在诸如文本语义相似度等任务上达到了SOTA效果，但是它们还存在一些缺点：在这些任务中，它们需要将比较的两个句子都传入到模型中计算，计算开销过大。BERT模型在一个1W句子集合中，找出最相近的一个句子对，需要5千万次推断计算（约65小时）才能完成，所以BERT并不适合语义相似度搜索等任务。   在该论文中，作者提出了一个新的模型，Sentence-BERT（简称SBERT）。SBERT采用..
译文：Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks
Airstudy的博客
05-24 2376
摘要 BERT (Devlin et al., 2018)和RoBERTa (Liuet al., 2019)已经在句子对回归任务上取的了最新最好的效果，比如语义文本相似任务（STS）。然而，这需要将两个句子的都喂给网络，这就引起大量的计算消耗：从你1万个句子中找相思对，就需要用BERT进行5千万推力计算（耗时约65小时）。BERT的结构不合适语义相似搜索，同样也不适用于类似聚类的无监督任务。 在本论文中，我将呈现预训练BERT的改进版–Sentence-BERT (SBERT)，使用二元或者三元网络结构来
Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks下载
最新发布
03-21
奠基之作 《Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks》，论文原文PDF格式文档下载。BERT的构造使得它不适用于语义相似性搜索以及聚类等无监督任务。SBERT使用siamese和triplet network结构来推导语义上有意义的句子embedding，使用余弦相似性进行比较，减少了寻找最相似的工作量，从使用BERT/RoBERTa的65小时减少到使用SBERT的约5秒，同时保持了BERT的准确性。
Raki的读paper小记：Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks
Raki_J的博客
03-18 811
Abstract & Introduction & Related Work 研究任务 sentence embedding 已有方法和相关工作 InferSent Universal Sentence Encoder Skip-Thought 面临挑战 BERT在文本语义相似度上达到了sota，然而，它需要将两个句子都送入网络，这导致了大量的计算开销。在10,000个句子的集合中找到最相似的一对，需要用BERT进行大约5千万次推理计算（约65小时）。BERT的构造使其不适合
Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks
garbage回收中心
11-22 1421
BERT和RoBERT模型在进行语义匹配的时候，需要将每个可能的组合都输入到模型中，会带来大量的计算（因为BERT模型对于句子对的输入，使用[SEP]来标记句子间的分隔，然后作为一个句子输入模型）。比如在10000个句子中找到与每个句子最相似的句子对，需要进行5千万次运算，大约65个小时。因此，BERT就不太适合做语义相似查询和一些无监督的任务。解决聚类和语义匹配的常见方法是将每个句子map到一个向量空间，使得语义相似的句子靠得更近。
论文笔记--Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks
weixin_38124427的博客
05-16 617
BERT系列文章阅读之SBERT：一种更快更优的文本对分析方法
论文阅读Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks
rotation博客
10-21 4651
论文信息 题目 Sentence Embeddings using Siamese BERT-Networks 使用孪生BERT网络结构的句子嵌入 作者 Nils Reimers, Iryna Gurevych 论文水平 EMNLP 2019 其它 论文下载地址：https://arxiv.org/abs/1908.10084 该论文的相关代码已开源，github链接：sentence-transformers，sentenc-tansformers文档：官方文档 sentenc-tansformers非常
SiameseBERT-Notebook:使用Siamese-BERT编码的快速语义搜索
05-27
暹罗语-笔记本 使用Siamese-BERT编码的快速语义搜索 SiameseBERT-SemanticSearch.ipynb Google Colab笔记本说明了如何使用Sentence Transformer python库快速创建句子的BERT嵌入并执行快速的语义搜索。 Sentence Transformer库在和上可用。 该库实现了Nils Reimers和Iryna Gurevych编写的ACL 2019论文中的代码，该论文的标题为“-BERT ”。 引用原始ACL纸： @inproceedings{reimers-2019-sentence-bert, title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks", author = "Reimers, Nils an
Siamese-based-BERT-FAQ-retrieval
03-30
基于暹罗语的BERT-FAQ检索
bert：TensorFlow代码和BERT的预训练模型
02-03
伯特 ***** 2020年3月11日新产品：更小的BERT模型***** 此版本发行了24个较小的BERT模型（仅限英语，无大小写，使用WordPiece掩码进行了培训），在读物精通的 。 我们已经证明，除了BERT-Base和BERT-Large之外，标准BERT配方（包括模型体系结构和训练目标）对多种模型尺寸均有效。 较小的BERT模型适用于计算资源有限的环境。 可以按照与原始BERT模型相同的方式对它们进行微调。 但是，它们在知识提炼的情况下最有效，在这种情况下，微调标签是由更大，更准确的老师制作的。 我们的目标是允许在计算资源较少的机构中进行研究，并鼓励社区寻找替代增加模型容量的创新方向。 您可以从 下载全部24个，也可以从下表单独下载： 高= 128 高= 256 高= 512 高= 768 L = 2 L = 4 L = 6 L = 8 L = 10 L = 12 请注意，此版本中包含的BERT-Base模型仅出于完整性考虑； 在与原始模型相同的条件下进行了重新训练。 这是测试集上相应的GLUE分数： 模型 得分 可乐 SST-2 MR
文献阅读：Sentence-BERT：Sentence Embeddings using Siamese BERT-Networks
codename_cys的博客
02-27 1048
文献阅读：Sentence-BERT：Sentence Embeddings using Siamese BERT-Networks 1. 文章简介 2. 主要方法介绍 3. 主要实验内容 1. Unsupervised STS 2. Supervised STS 3. Downsteam SentEval Evaluation 4. Ablation Study 4. 结论 & 思考 文献链接：https://arxiv.org/pdf/1908.10084.pdf 1. 文..
Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks解读
qq_33221657的博客
12-17 1033
摘要 使用bert和roberta来计算句子相似度太耗时，本文作者提出sentence-bert，使用孪生或三生网络对bert pretrain 进行修整，在sentence embeddings methods上取得sota。 介绍 1 .bert计算句子相似度 a.监督方法 做法：合理使用bert结构，将上句和下句放入bert结构中，进行finetune 。BERT uses a cross-encoder: Two sentences are passed to the transformer net
【文献翻译】Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks
gengmeng_的博客
01-02 443
在本论文中，我们介绍了Sentence-BERT(SBERT)，它是使用孪生网络和三元组网络对BERT网络进行的修改，能够导出具有语义意义的句子嵌入。这使得BERT可以用于某些新任务，而这些任务迄今为止不适用于BERT。这些任务包括大规模语义相似性比较、聚类和通过语义搜索进行信息检索。BERT在各种句子分类和句子对回归任务上设置了新的最先进的性能。BERT使用交叉编码器：将两个句子传递到transformer网络并预测目标值。但是，由于可能的组合太多，此设置不适用于各种对回归任务。
文献记录 - Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks
weixin_42681868的博客
09-13 559
文献地址： https://arxiv.org/pdf/1908.10084.pdf 摘要 bert 或robert已经有了句子对匹配任务的实现方法，具体的是通过将两个句子拼接在一起，中间用token“【SEP】”隔开，bert输出层中的【CLS】token可以直接表示两个句子对之间的相对信息（可以是相似度，也可以是问答，或者是否是下一句话）。 但是拼接起来的序列通常长度较长，这就导致了需要的参数非常多，运算速度很慢。 所以本文会使用一种“孪生网络 + bert + 余弦相似度” 的方式加快改善相似
Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks翻译
nopSled
09-25 298
摘要 BERT和Roberta在语义文本相似度（STS）中的句子对回归任务中达到了新的最先好性能。但是，它要求同时将两个句子带入到网络中，这导致大的计算开销，例如，在10,000个句子的集合中查找最相似的句子对需要大约5000万次推理计算（〜65小时）。BERT的构造使其不适合基于语义相似性的搜索以及聚类等无监督任务。 　　在本论文中，我们提出了 Sentence-BERT（SBERT），用triplet网络结构修改了预训练BERT网络，以获得可以使用余弦相似度比较的语义有意义的句子嵌入。这即减少了BERT
Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks paper学习
hxshine的博客
08-03 430
abstract 计算相似度，原始bert需要将两个句子都放到里面去重新计算，计算量非常大。 本文修改预训练bert的网络结构，利用siamese和triplet网络结构来计算语义相似度 优化了速度，维持了精度 1 Introduction 本文可以支持将bert用于大规模的相似度比较，聚类，信息检索，以及语义搜索。 现在比较常见的方法是取最后一层bert的平均值，或者取cls特征。 上面两个取得的embedding效果非常差，可能比平均Glove embedding还差 比inferSent网络居然高了.
sentence-bert: sentence embeddings using siamese bert-networks emnlp
04-30
Sentence-BERT（双塔BERT网络）是一种使用BERT网络生成句子嵌入的方法。 该技术在自然语言处理领域中具有广泛的应用，并且与传统的词向量相比，它提供了更丰富和有趣的语义信息。 在这个技术中，双塔BERT网络被用来生成两个句子之间的相似性分数，这对于许多任务都非常有用。常见的应用包括文本相似度、信息检索和自然语言推理等。接着，我们需要将这个分数转换成一个向量，通过这个向量可以减少噪音，强化特征的相似性. 同时，这个向量可以被用来评估两个句子之间的相似性。 Sentence-BERT可以用于在许多领域进行嵌入学习，例如推荐系统、机器翻译、信息抽取和事实验证等。 此外，这种方法可在文本的特定领域中预先训练句子嵌入，从而在特定任务上提供更好的表现。 总之，Sentence-BERT是一种非常有用的技术，可以从不同角度对文本进行分析，并提供了许多在信息检索、自然语言理解和情感分析等领域中有用的功能。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

愤怒的可乐

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值