论文笔记 | Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks

最新推荐文章于 2024-03-15 13:35:42 发布
最新推荐文章于 2024-03-15 13:35:42 发布
阅读量860 收藏 1
点赞数
文章标签： 自然语言处理 神经网络
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u011150266/article/details/118578421
版权
Sentence-BERT（SBERT）通过使用Siamese BERT网络结构改进了BERT，解决了BERT在大规模语义相似度任务中的高计算开销问题。SBERT的sentence embeddings可以直接通过余弦相似度计算两个句子的相似度，显著提高了效率。在多个STS任务和迁移学习任务上，SBERT达到了新的SOTA水平。
摘要由CSDN通过智能技术生成

在这里插入图片描述

作者：迪

单位：燕山大学

论文地址

代码地址

论文来源：EMNLP2019

前言

  虽然BERT和RoBERTa在诸如文本语义相似度等任务上达到了SOTA效果，但是它们还存在一些缺点：在这些任务中，它们需要将比较的两个句子都传入到模型中计算，计算开销过大。BERT模型在一个1W句子集合中，找出最相近的一个句子对，需要5千万次推断计算（约65小时）才能完成，所以BERT并不适合语义相似度搜索等任务。

  在该论文中，作者提出了一个新的模型，Sentence-BERT（简称SBERT）。SBERT采用双重（孪生）或三重BERT网络结构。通过SBERT模型获取到的句子embedding，可以直接通过余弦相似度计算两个句子的相似度，这样就大大减少了计算量。因为在使用BERT模型进行句子间相似度的判断时，需要从句子集合中，选出两个句子进行组合，传入BERT中进行计算，而使用SBERT模型，只需要将集合中每个句子单独传入到模型中，得到每个句子的embeding，计算相似度只需要使用cos函数计算两两embedi

最低0.47元/天 解锁文章
期待成功
关注
[论文笔记]Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks
日积月累，天道酬勤
09-23 757
SBERT主要用于句向量生成。
论文笔记--Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks
weixin_38124427的博客
05-16 625
BERT系列文章阅读之SBERT：一种更快更优的文本对分析方法
Raki的读paper小记：Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks
Raki_J的博客
03-18 818
Abstract & Introduction & Related Work 研究任务 sentence embedding 已有方法和相关工作 InferSent Universal Sentence Encoder Skip-Thought 面临挑战 BERT在文本语义相似度上达到了sota，然而，它需要将两个句子都送入网络，这导致了大量的计算开销。在10,000个句子的集合中找到最相似的一对，需要用BERT进行大约5千万次推理计算（约65小时）。BERT的构造使其不适合
Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks
garbage回收中心
11-22 1424
BERT和RoBERT模型在进行语义匹配的时候，需要将每个可能的组合都输入到模型中，会带来大量的计算（因为BERT模型对于句子对的输入，使用[SEP]来标记句子间的分隔，然后作为一个句子输入模型）。比如在10000个句子中找到与每个句子最相似的句子对，需要进行5千万次运算，大约65个小时。因此，BERT就不太适合做语义相似查询和一些无监督的任务。解决聚类和语义匹配的常见方法是将每个句子map到一个向量空间，使得语义相似的句子靠得更近。
Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks下载
最新发布
03-21
### Sentence-BERT: Sentence Embeddings Using Siamese BERT-Networks #### 概述 在自然语言处理（NLP）领域，预训练模型如BERT（Bidirectional Encoder Representations from Transformers）及其变种RoBERTa已...
论文阅读Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks
rotation博客
10-21 4659
论文信息 题目 Sentence Embeddings using Siamese BERT-Networks 使用孪生BERT网络结构的句子嵌入 作者 Nils Reimers, Iryna Gurevych 论文水平 EMNLP 2019 其它 论文下载地址：https://arxiv.org/abs/1908.10084 该论文的相关代码已开源，github链接：sentence-transformers，sentenc-tansformers文档：官方文档 sentenc-tansformers非常
文献阅读：Sentence-BERT：Sentence Embeddings using Siamese BERT-Networks
codename_cys的博客
02-27 1052
文献阅读：Sentence-BERT：Sentence Embeddings using Siamese BERT-Networks 1. 文章简介 2. 主要方法介绍 3. 主要实验内容 1. Unsupervised STS 2. Supervised STS 3. Downsteam SentEval Evaluation 4. Ablation Study 4. 结论 & 思考 文献链接：https://arxiv.org/pdf/1908.10084.pdf 1. 文..
打分类型数据集 STS-B 中文数据集
07-22
英文打分数据集STS-B的部分中文翻译
Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks解读
qq_33221657的博客
12-17 1038
摘要 使用bert和roberta来计算句子相似度太耗时，本文作者提出sentence-bert，使用孪生或三生网络对bert pretrain 进行修整，在sentence embeddings methods上取得sota。 介绍 1 .bert计算句子相似度 a.监督方法 做法：合理使用bert结构，将上句和下句放入bert结构中，进行finetune 。BERT uses a cross-encoder: Two sentences are passed to the transformer net
译文：Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks
Airstudy的博客
05-24 2387
摘要 BERT (Devlin et al., 2018)和RoBERTa (Liuet al., 2019)已经在句子对回归任务上取的了最新最好的效果，比如语义文本相似任务（STS）。然而，这需要将两个句子的都喂给网络，这就引起大量的计算消耗：从你1万个句子中找相思对，就需要用BERT进行5千万推力计算（耗时约65小时）。BERT的结构不合适语义相似搜索，同样也不适用于类似聚类的无监督任务。 在本论文中，我将呈现预训练BERT的改进版–Sentence-BERT (SBERT)，使用二元或者三元网络结构来
【文献翻译】Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks
gengmeng_的博客
01-02 448
在本论文中，我们介绍了Sentence-BERT(SBERT)，它是使用孪生网络和三元组网络对BERT网络进行的修改，能够导出具有语义意义的句子嵌入。这使得BERT可以用于某些新任务，而这些任务迄今为止不适用于BERT。这些任务包括大规模语义相似性比较、聚类和通过语义搜索进行信息检索。BERT在各种句子分类和句子对回归任务上设置了新的最先进的性能。BERT使用交叉编码器：将两个句子传递到transformer网络并预测目标值。但是，由于可能的组合太多，此设置不适用于各种对回归任务。
Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks翻译
nopSled
09-25 300
摘要 BERT和Roberta在语义文本相似度（STS）中的句子对回归任务中达到了新的最先好性能。但是，它要求同时将两个句子带入到网络中，这导致大的计算开销，例如，在10,000个句子的集合中查找最相似的句子对需要大约5000万次推理计算（〜65小时）。BERT的构造使其不适合基于语义相似性的搜索以及聚类等无监督任务。 　　在本论文中，我们提出了 Sentence-BERT（SBERT），用triplet网络结构修改了预训练BERT网络，以获得可以使用余弦相似度比较的语义有意义的句子嵌入。这即减少了BERT
Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks paper学习
hxshine的博客
08-03 432
abstract 计算相似度，原始bert需要将两个句子都放到里面去重新计算，计算量非常大。 本文修改预训练bert的网络结构，利用siamese和triplet网络结构来计算语义相似度 优化了速度，维持了精度 1 Introduction 本文可以支持将bert用于大规模的相似度比较，聚类，信息检索，以及语义搜索。 现在比较常见的方法是取最后一层bert的平均值，或者取cls特征。 上面两个取得的embedding效果非常差，可能比平均Glove embedding还差 比inferSent网络居然高了.
论文：Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks翻译笔记（句子嵌入、语义搜索）
weixin_56242678的博客
03-15 1092
Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks论文翻译笔记，有关句子嵌入、语义检索等。
《Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks》论文阅读
jst100的博客
07-20 167
对于实验和训练（维基百科、句子对分类任务）的细节不再多说，感觉这篇文章最值得借鉴的地方就是这个句子间的交互性，分类网络的那几种方式，以及回归网络的余弦相似度、各种距离等，也许可以用到其他任务当中，而且通过2个相同的编码器并行编码句子可以充分硬件，节约时间。httpshttpshttpshttpshttps。...
详细介绍Sentence-BERT:使用连体BERT网络的句子嵌入
zag666的博客
01-30 4229
Sentence-BERT（SBERT）是一个使用连体和三连体BERT网络的修改，能够得出有语义的句子嵌入。这使得BERT能够用于某些目前为止还不适用于BERT的新任务。这些任务包括大规模的语义相似性比较、聚类和通过语义搜索的信息检索。BERT在各种句子分类和句子对回归任务上创造了新的最先进的性能。BERT使用交叉编码器：两个句子被传递给transformer网络并预测目标值。然而由于可能的组合太多，这种设置不适合各种配对回归任务。
sentence-bert: sentence embeddings using siamese bert-networks emnlp
04-30
Sentence-BERT（双塔BERT网络）是一种使用BERT网络生成句子嵌入的方法。 该技术在自然语言处理领域中具有广泛的应用，并且与传统的词向量相比，它提供了更丰富和有趣的语义信息。 在这个技术中，双塔BERT网络被用来...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值