Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks paper学习

最新推荐文章于 2024-03-23 04:13:54 发布
最新推荐文章于 2024-03-23 04:13:54 发布
阅读量430 收藏 2
点赞数 1
分类专栏： nlp_paper nlp学习 nlp 文章标签： sentence-bert sbert 孪生
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_16949707/article/details/119346808
版权
nlp 同时被 3 个专栏收录
97 篇文章 3 订阅
订阅专栏
nlp_paper
75 篇文章 7 订阅
订阅专栏
nlp学习
61 篇文章 2 订阅
订阅专栏

在这里插入图片描述

abstract

计算相似度，原始bert需要将两个句子都放到里面去重新计算，计算量非常大。
本文修改预训练bert的网络结构，利用siamese和triplet网络结构来计算语义相似度
优化了速度，维持了精度

1 Introduction

本文可以支持将bert用于大规模的相似度比较，聚类，信息检索，以及语义搜索。
现在比较常见的方法是取最后一层bert的平均值，或者取cls特征。
上面两个取得的embedding效果非常差，可能比平均Glove embedding还差
比inferSent网络居然高了差不多十个点?
polyencoders的score计算方式也比较耗时？

3 Model

3.1 结构图

在这里插入图片描述

3.2 解析
  • 分类目标函数：训练阶段利用[u, v, |u-v|]作为特征
  • 回归目标函数：推理阶段通过cos函数计算相似度，并使用均方误差作为损失函数
  • triplet损失函数：正样本的差值和负样本的差值的比较，正样本的差值应该小于负样本的差值。
  • 默认pooling策略是mean均值
3.3 triplet loss

在这里插入图片描述

5 Evaluation

5.1 总结
  1. 无监督STS：通过计算embedding之间的spearman rank分数来比较，直接使用bert效果比较差，mean 54.81， cls特征 29.19， 都比直接用Glove差
  2. 有监督STS：
    2.1 直接用STS训练
    2.2 在NLI预训练，然后再STS上训练，预训练大概带来1，2个点的提升
  3. cross-topic数据集上表现比较差，降低6-7个点，bert可以利用交叉特征，sbert相当于只利用了一个高纬度的topic特征，挑战比较大。
5.2 详细STS数据集结果

无监督和有监督STS数据集评估

在这里插入图片描述

5.3 详细cross-topic评估结果

在这里插入图片描述

6. 消融实验

在这里插入图片描述

7 计算效率

在这里插入图片描述

8 结论

bert->高质量的计算相似度的vector
gpu上：比infersent快9%，比Universal sentance encoder快55%
10000句子的聚类，bert要65小时，sbert，只需要5秒钟。

HxShine
关注
专栏目录
[论文笔记]Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks
日积月累，天道酬勤
09-23 734
SBERT主要用于句向量生成。
论文笔记--Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks
weixin_38124427的博客
05-16 606
BERT系列文章阅读之SBERT：一种更快更优的文本对分析方法
Raki的读paper小记：Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks
Raki_J的博客
03-18 807
Abstract & Introduction & Related Work 研究任务 sentence embedding 已有方法和相关工作 InferSent Universal Sentence Encoder Skip-Thought 面临挑战 BERT在文本语义相似度上达到了sota，然而，它需要将两个句子都送入网络，这导致了大量的计算开销。在10,000个句子的集合中找到最相似的一对，需要用BERT进行大约5千万次推理计算（约65小时）。BERT的构造使其不适合
Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks
weixin_48185819的博客
07-05 434
原文 https://arxiv.org/abs/1908.10084 Abstract STS semantic textual similarity BERT结构不适合语义相似搜索，非监督的任务聚类等 SBERT Sentence-BERT finding the most similar pair from 65 hours with BERT / RoBERTa to about 5 seconds with SBERT, while maintaining the accuracy.
文献阅读：Sentence-BERT：Sentence Embeddings using Siamese BERT-Networks
codename_cys的博客
02-27 1048
文献阅读：Sentence-BERT：Sentence Embeddings using Siamese BERT-Networks 1. 文章简介 2. 主要方法介绍 3. 主要实验内容 1. Unsupervised STS 2. Supervised STS 3. Downsteam SentEval Evaluation 4. Ablation Study 4. 结论 & 思考 文献链接：https://arxiv.org/pdf/1908.10084.pdf 1. 文..
Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks解读
qq_33221657的博客
12-17 1031
摘要 使用bert和roberta来计算句子相似度太耗时，本文作者提出sentence-bert，使用孪生或三生网络对bert pretrain 进行修整，在sentence embeddings methods上取得sota。 介绍 1 .bert计算句子相似度 a.监督方法 做法：合理使用bert结构，将上句和下句放入bert结构中，进行finetune 。BERT uses a cross-encoder: Two sentences are passed to the transformer net
Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks下载
03-21
### Sentence-BERT: Sentence Embeddings Using Siamese BERT-Networks #### 概述 在自然语言处理（NLP）领域，预训练模型如BERT（Bidirectional Encoder Representations from Transformers）及其变种RoBERTa已...
论文阅读Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks
rotation博客
10-21 4639
论文信息 题目 Sentence Embeddings using Siamese BERT-Networks 使用孪生BERT网络结构的句子嵌入 作者 Nils Reimers, Iryna Gurevych 论文水平 EMNLP 2019 其它 论文下载地址：https://arxiv.org/abs/1908.10084 该论文的相关代码已开源，github链接：sentence-transformers，sentenc-tansformers文档：官方文档 sentenc-tansformers非常
论文笔记 | Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks
u011150266的博客
07-08 848
作者：迪 单位：燕山大学 论文地址 代码地址 论文来源：EMNLP2019 前言   虽然BERT和RoBERTa在诸如文本语义相似度等任务上达到了SOTA效果，但是它们还存在一些缺点：在这些任务中，它们需要将比较的两个句子都传入到模型中计算，计算开销过大。BERT模型在一个1W句子集合中，找出最相近的一个句子对，需要5千万次推断计算（约65小时）才能完成，所以BERT并不适合语义相似度搜索等任务。   在该论文中，作者提出了一个新的模型，Sentence-BERT（简称SBERT）。SBERT采用..
译文：Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks
Airstudy的博客
05-24 2370
摘要 BERT (Devlin et al., 2018)和RoBERTa (Liuet al., 2019)已经在句子对回归任务上取的了最新最好的效果，比如语义文本相似任务（STS）。然而，这需要将两个句子的都喂给网络，这就引起大量的计算消耗：从你1万个句子中找相思对，就需要用BERT进行5千万推力计算（耗时约65小时）。BERT的结构不合适语义相似搜索，同样也不适用于类似聚类的无监督任务。 在本论文中，我将呈现预训练BERT的改进版–Sentence-BERT (SBERT)，使用二元或者三元网络结构来
Fine-tuning-BERT-with-Siamese-network-and-Triplet-Loss
03-25
通过暹罗网络和三重态损耗对BERT进行微调 对于产品匹配任务，我们可以使用BERT编码器进行相似性匹配。 根据许多研究，已经发现使用任务特定数据对BERT进行微调可以提高模型性能。 您可能会阅读 。 1.问题陈述 许多零售商通过电子商务网站上载其产品以进行销售。 从电子商务公司的角度来看，匹配相同的产品对于改善用户体验至关重要。 我们可以利用图像，产品描述文本数据来开发用于产品匹配的深度学习算法。 在此存储库中，通过计算每个产品的句子嵌入并计算每个产品的余弦距离，我将匹配相似或相同的产品。 2.模型架构 您可以在下面看到BERT编码器架构。 句子被标记为整数并馈入BERT。 BERT输出张量形状（batch_size，句子中的#tokens，单词嵌入的维数） ，这意味着句子中每个单词的单词嵌入。 平均池化层和最大池化层池化每个单词嵌入，因此输出张量形状（batch_size，单词嵌入
Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks翻译
nopSled
09-25 295
摘要 BERT和Roberta在语义文本相似度（STS）中的句子对回归任务中达到了新的最先好性能。但是，它要求同时将两个句子带入到网络中，这导致大的计算开销，例如，在10,000个句子的集合中查找最相似的句子对需要大约5000万次推理计算（〜65小时）。BERT的构造使其不适合基于语义相似性的搜索以及聚类等无监督任务。 　　在本论文中，我们提出了 Sentence-BERT（SBERT），用triplet网络结构修改了预训练BERT网络，以获得可以使用余弦相似度比较的语义有意义的句子嵌入。这即减少了BERT
《Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks》论文阅读
jst100的博客
07-20 165
对于实验和训练（维基百科、句子对分类任务）的细节不再多说，感觉这篇文章最值得借鉴的地方就是这个句子间的交互性，分类网络的那几种方式，以及回归网络的余弦相似度、各种距离等，也许可以用到其他任务当中，而且通过2个相同的编码器并行编码句子可以充分硬件，节约时间。httpshttpshttpshttpshttps。...
【论文泛读142】Sentence-BERT：使用 Siamese BERT-Networks 的句子嵌入
scu-liu的博客
06-25 489
贴一下汇总贴：论文阅读记录 论文链接：《Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks》 一、摘要 BERT (Devlin et al., 2018) 和 RoBERTa (Liu et al., 2019) 在语义文本相似性 (STS) 等句子对回归任务上取得了新的最先进的性能。然而，它需要将两个句子都输入网络，这会导致大量的计算开销：在 10,000 个句子的集合中找到最相似的一对需要使用 BERT 进行大约 5000 万次
用Siamese和Dual BERT来做多源文本分类
hwaust2020的博客
06-02 303
文章目录数据单个BERT双路BERTSIAMESE BERT总结 转载来源：https://mp.weixin.qq.com/s/cyNcVNImoCOmTrsS0QVq4w 导读：使用不同的方式来使用BERT模型。 在NLP中不断的研究产生了各种各样的预训练模型。对于各种任务，例如文本分类、无监督主题建模和问题回答等，不断的在刷新业界最佳。其中，最伟大的发现之一是在神经网络结构中采用了注意力机制。这种技术是所有称为transformers的网络的基础。他们应用注意力机制来提取关于给定单词上下文的信息
用TripletLoss优化bert ranking
最新发布
高性价比服务器就选：蓝易云
03-23 289
总的来说，使用TripletLoss优化BERT Ranking是一种有效的方法，可以帮助改进文本相似性和排序任务的性能。数据应包括正样本和负样本，正样本表示文本对是相关的，负样本表示文本对是不相关的。构建一个神经网络模型，该模型将嵌入的锚点、正例和负例作为输入，并输出它们之间的相似度分数。TripletLoss中的超参数，如margin的值，可能需要根据你的任务和数据进行调整。对于每个文本，将其输入BERT模型，获取其嵌入表示。是一个预定义的边界，用于确保锚点和正例之间的距离大于锚点和负例之间的距离。
sentence-bert: sentence embeddings using siamese bert-networks emnlp
04-30
Sentence-BERT可以用于在许多领域进行嵌入学习，例如推荐系统、机器翻译、信息抽取和事实验证等。 此外，这种方法可在文本的特定领域中预先训练句子嵌入，从而在特定任务上提供更好的表现。 总之，Sentence-BERT是...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值