Raki的读paper小记：Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks

最新推荐文章于 2024-03-15 13:35:42 发布
最新推荐文章于 2024-03-15 13:35:42 发布
阅读量811 收藏
点赞数
分类专栏： NLP 读paper 文章标签： bert 自然语言处理 深度学习 人工智能 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/raki_j/article/details/123581350
版权
读paper 同时被 2 个专栏收录
83 篇文章 5 订阅
订阅专栏
NLP
82 篇文章 10 订阅
订阅专栏

Abstract & Introduction & Related Work

  • 研究任务
    • sentence embedding
  • 已有方法和相关工作
    • InferSent
    • Universal Sentence Encoder
    • Skip-Thought
  • 面临挑战
    • BERT在文本语义相似度上达到了sota，然而，它需要将两个句子都送入网络，这导致了大量的计算开销。在10,000个句子的集合中找到最相似的一对，需要用BERT进行大约5千万次推理计算（约65小时）。BERT的构造使其不适合于语义相似性搜索以及无监督的任务，如聚类
  • 创新思路
    • 使用连体和三连体网络结构，得出有语义的句子嵌入，可以使用余弦相似度进行比较。
      这将寻找最相似对的代价从BERT/RoBERTa的65小时减少到SBERT的约5秒，同时保持BERT的准确性
    • 之前的神经句嵌入模型都是从零开始训练，而我们在BERT/RoBERTa上面fine-tune，甚至可以少于20分钟
  • 实验结论
    • sota

Model

Sentence-BERT在BERT和RoBERTa的输出层加了一个pooling层，以获得一个固定大小的句子嵌入

我们试验了三种集合策略：

  1. 使用CLS-token的输出
  2. 计算所有输出向量的平均值（MEANstrategy）
  3. 以及计算输出向量的max-over-time（MAX-strategy）

默认配置是MEAN

为了微调BERT / RoBERTa，我们创建了连体和三连体网络（Schroff等人，2015），以更新权重，使产生的句子嵌入具有语义，并可以与余弦相似性进行比较

Classification Objective Function

在这里插入图片描述
先pooling，然后相减的绝对值再concat到一起，送到softmax分离器里面
在这里插入图片描述

Regression Objective Function

在这里插入图片描述
两个句向量的余弦相似度：
在这里插入图片描述

Triplet Objective Function

在这里插入图片描述
给定一个锚定句子a，一个正样例句子p，和一个负样例句子n，三段式损失调整网络，使a和p之间的距离小于a和n之间的距离
在这里插入图片描述

Training Details

我们用3个软分类器的目标函数对SBERT进行了微调，用于一个epoch。我们使用了16个批次，Adam优化器的学习率为 2 e − 5 2e-5 2e−5，在10%的训练数据上进行线性学习率预热。我们默认的汇聚策略是MEAN

Evaluation - Semantic Textual Similarity

Unsupervised STS

在这里插入图片描述

Supervised STS

在这里插入图片描述

Argument Facet Similarity

在这里插入图片描述

Wikipedia Sections Distinction

在这里插入图片描述

Evaluation - SentEval

在这里插入图片描述

Ablation Study

在这里插入图片描述

Computational Efficiency

在这里插入图片描述

Conclusion

我们表明，BERT开箱即用，将句子映射到一个向量空间，而这个向量空间相当不适合与余弦相似性等常见的相似性措施一起使用。七个STS任务的性能低于GloVe平均嵌入的性能。

为了克服这一缺陷，我们提出了Sentence-BERT（SBERT）。SBERT在一个连体/三连体网络结构中对BERT进行了微调。我们在各种常见的基准上评估了其质量，在那里它可以实现比最先进的句子嵌入方法的显著改善。在我们的实验中，用RoBERTa代替BERT并没有产生明显的改善。

SBERT在计算上是高效的。在GPU上，它比InferSent快约9%，比Universal Sentence Encoder快约55%。SBERT可以用于那些用BERT建模在计算上不可行的任务。例如，用分层聚类法对10,000个句子进行聚类，用BERT需要大约65个小时，因为必须计算大约5000万个句子组合。使用SBERT，我们能够将这一工作减少到大约5秒

Remark

看到这个65小时到5秒钟我就人傻了，46800倍的效率？？？还outperform？？

不愧是best paper，大道至简，牛逼！！

[论文笔记]Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks
日积月累，天道酬勤
09-23 747
SBERT主要用于句向量生成。
论文阅读：Segmentation-Based Deep-Learning Approach for Surface-Defect Detection
Lesel的博客
07-24 4035
PDF\CODE 基于深度学习分割的表面缺陷检测 Domen Tabernik（domen.tabernik@fri.uni-lj.si）； Samo Šela； Jure Skvar； Danijel Skoaj（danijel.skocaj@fri.uni-lj.si） part of Springer Nature 2019 摘要：基于机器学习的表面缺陷自动检测已经成为一个有趣且有发展前景的研究领域，对视觉检测的应用领域产生了非常高且直接的影响。深度学习方法已成为最适合这项任务的方法。它
Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks
weixin_48185819的博客
07-05 438
原文 https://arxiv.org/abs/1908.10084 Abstract STS semantic textual similarity BERT结构不适合语义相似搜索，非监督的任务聚类等 SBERT Sentence-BERT finding the most similar pair from 65 hours with BERT / RoBERTa to about 5 seconds with SBERT, while maintaining the accuracy.
简单图形的输入输出练习
weixin_52092817的博客
11-11 1091
输出矩形 输出直角三角形(靠左) 输出直角三角形(靠右) 输出等腰三角形 输出菱形 输出⚪ 输出椭圆 输出平行四边形 输出倒等腰三角形
递归变分网络：加速MRI重建
732递归变分网络：应用于加速MRI重建Geor geYiasemis1，2，Jan-Jak obSonk e1，ClarisaSa'nchez2，JonasTeuwen1，21荷兰癌症研究所，2阿姆斯特丹大学{g.yiasemis，j.sonke，j.teuwen} @ nki.nl，{c.i....
GrappaNet: 深度学习与多线圈MRI重建
14315GrappaNet：将并行成像与深度学习结合用于多线圈MRI重建AnuroopSriram 1JureZbontar 1TullieMurrell 1C.劳伦斯·齐特尼克1亚伦·德法齐奥1丹尼尔·K. Sodickson21Facebook AI Research（FAIR）2纽约大学医摘要...
论文笔记 | Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks
u011150266的博客
07-08 853
作者：迪 单位：燕山大学 论文地址 代码地址 论文来源：EMNLP2019 前言   虽然BERT和RoBERTa在诸如文本语义相似度等任务上达到了SOTA效果，但是它们还存在一些缺点：在这些任务中，它们需要将比较的两个句子都传入到模型中计算，计算开销过大。BERT模型在一个1W句子集合中，找出最相近的一个句子对，需要5千万次推断计算（约65小时）才能完成，所以BERT并不适合语义相似度搜索等任务。   在该论文中，作者提出了一个新的模型，Sentence-BERT（简称SBERT）。SBERT采用..
sentence-transformers:BERT的多语言句子和图像嵌入
05-10
句子变形器：使用BERT＆Co.的多语言句子，段落和图像嵌入 该框架提供了一种简单的方法来计算句子，段落和图像的密集向量表示形式。 这些模型基于BERT / RoBERTa / XLM-RoBERTa等变压器网络，可在各种任务中实现最先进的性能。 文本嵌入向量空间中，以便相似的文本接近并且可以使用余弦相似度有效地找到。 我们为100多种语言提供了越来越多的，并针对各种用例进行了微调。 此外，该框架允许轻松，以在您的特定任务上实现最佳性能。 有关完整的文档，请访问 。 以下出版物已集成到该框架中： （EMNLP 2019） （EMNLP 2020） （NAACL 2021） （arXiv 2020） （arXiv 2021） （arXiv 2021） 安装 我们建议使用Python 3.6或更高版本， 或更高版本以及或更高版本。 该代码不使用Python 2.7的工作。
Siamese-based-BERT-FAQ-retrieval
03-30
基于暹罗语的BERT-FAQ检索
文献阅读：Sentence-BERT：Sentence Embeddings using Siamese BERT-Networks
codename_cys的博客
02-27 1048
文献阅读：Sentence-BERT：Sentence Embeddings using Siamese BERT-Networks 1. 文章简介 2. 主要方法介绍 3. 主要实验内容 1. Unsupervised STS 2. Supervised STS 3. Downsteam SentEval Evaluation 4. Ablation Study 4. 结论 & 思考 文献链接：https://arxiv.org/pdf/1908.10084.pdf 1. 文..
Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks paper学习
hxshine的博客
08-03 430
abstract 计算相似度，原始bert需要将两个句子都放到里面去重新计算，计算量非常大。 本文修改预训练bert的网络结构，利用siamese和triplet网络结构来计算语义相似度 优化了速度，维持了精度 1 Introduction 本文可以支持将bert用于大规模的相似度比较，聚类，信息检索，以及语义搜索。 现在比较常见的方法是取最后一层bert的平均值，或者取cls特征。 上面两个取得的embedding效果非常差，可能比平均Glove embedding还差 比inferSent网络居然高了.
译文：Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks
Airstudy的博客
05-24 2375
摘要 BERT (Devlin et al., 2018)和RoBERTa (Liuet al., 2019)已经在句子对回归任务上取的了最新最好的效果，比如语义文本相似任务（STS）。然而，这需要将两个句子的都喂给网络，这就引起大量的计算消耗：从你1万个句子中找相思对，就需要用BERT进行5千万推力计算（耗时约65小时）。BERT的结构不合适语义相似搜索，同样也不适用于类似聚类的无监督任务。 在本论文中，我将呈现预训练BERT的改进版–Sentence-BERT (SBERT)，使用二元或者三元网络结构来
论文：Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks翻译笔记（句子嵌入、语义搜索）
最新发布
weixin_56242678的博客
03-15 1088
Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks论文翻译笔记，有关句子嵌入、语义检索等。
【文献翻译】Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks
gengmeng_的博客
01-02 443
在本论文中，我们介绍了Sentence-BERT(SBERT)，它是使用孪生网络和三元组网络对BERT网络进行的修改，能够导出具有语义意义的句子嵌入。这使得BERT可以用于某些新任务，而这些任务迄今为止不适用于BERT。这些任务包括大规模语义相似性比较、聚类和通过语义搜索进行信息检索。BERT在各种句子分类和句子对回归任务上设置了新的最先进的性能。BERT使用交叉编码器：将两个句子传递到transformer网络并预测目标值。但是，由于可能的组合太多，此设置不适用于各种对回归任务。
论文笔记--Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks
weixin_38124427的博客
05-16 617
BERT系列文章阅读之SBERT：一种更快更优的文本对分析方法
Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks翻译
nopSled
09-25 298
摘要 BERT和Roberta在语义文本相似度（STS）中的句子对回归任务中达到了新的最先好性能。但是，它要求同时将两个句子带入到网络中，这导致大的计算开销，例如，在10,000个句子的集合中查找最相似的句子对需要大约5000万次推理计算（〜65小时）。BERT的构造使其不适合基于语义相似性的搜索以及聚类等无监督任务。 　　在本论文中，我们提出了 Sentence-BERT（SBERT），用triplet网络结构修改了预训练BERT网络，以获得可以使用余弦相似度比较的语义有意义的句子嵌入。这即减少了BERT
论文阅读Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks
rotation博客
10-21 4651
论文信息 题目 Sentence Embeddings using Siamese BERT-Networks 使用孪生BERT网络结构的句子嵌入 作者 Nils Reimers, Iryna Gurevych 论文水平 EMNLP 2019 其它 论文下载地址：https://arxiv.org/abs/1908.10084 该论文的相关代码已开源，github链接：sentence-transformers，sentenc-tansformers文档：官方文档 sentenc-tansformers非常
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值