从 Sentence-BERT 谈句子表征

最新推荐文章于 2024-09-03 14:29:49 发布
最新推荐文章于 2024-09-03 14:29:49 发布
阅读量1.8k 收藏 7
点赞数 1
文章标签： 算法 python 机器学习 人工智能 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Kaiyuan_sjtu/article/details/121299243
版权

53e8a71beb03c0df4a3af934203791a4.png

作者 | 太子长琴 

整理 | NewBeeNLP

在之前那篇 NLP 表征的历史与未来[1] 里，我们几乎从头到尾都在提及句子表征，也提出过一个很重要的概念：“句子” 才是语义理解的最小单位。不过当时并没有太过深入细节，直到做到文本相似度任务时才发现早已经有人将其 BERT 化了。

这就是本文要提到的一篇很重要但又很顺其自然的一篇论文

  • Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks

其实说到相似度，大家多少都会想到大名鼎鼎的 Siamese Recurrent Networks，他们当时（2016 年）用的是 LSTM 对句子表征，那是因为那时候 LSTM 效果是最好的。Sentence-BERT 其实就是将 LSTM 替换为 BERT。

背景问题

  • 针对句子对任务性能太差。这是因为原生 BERT 是通过将两个句子拼接后输出 Label 的，给定一组句子，要想找到相似度最高的句子对，需要二次方的复杂度。

  • 使用 CLS Token 作为句子表征效果太差，甚至不如 Glove。

作为一个求知欲满满的好奇之人，自然很想知道为神马。先按捺下自己躁动的心，看看本篇论文是怎么做的。对于第一个问题，其实就是 Siamese Network 的改版，专门用来做相似度计算。对于第二个问题，则尝试了三种不同的 Pooling 方法，分别是 CLS，MAX 和 AVERAGE。它之后的 Bert-Flow[2] 又增加了 AVERAGE 后两层（Bert 后两个 block）的方法。

句子表征

先看看文章 Related Work 提到哪些关于句子表征的研究：

  • Skip-Thought 通过预测上下文句子来做句子表征。这和 Skip-Gram 一样，只是把 Token 从词替换为句子。

  • 对 Siamese Bi-LSTM 的结果做 MAX Pooling。

  • Transformer

  • Siamese DAN 和 Siamese Transformer。这个 DAN 就是对 Word Embedding 平均后再接一个 DNN。

这些方法基本都是我们熟悉的套路，可以说已经开发的淋漓尽致了。不过 BERT 的 CLS 却是另辟蹊径，突破了已有的范式，当然啦，这个想法其实是 Doc2Vec 用的方法，毕竟是同一个团队出品的。

关于未来还有哪些可能的方向，开头提到的文章里有比较深入的思考。短期来看，知识图谱（长时记忆）和充分的上下文（短时记忆）依然是可以进一步优化的。不过这可能只适用于对话领域，对于长文本的理解，可能还需从段落和文章结构上提出新的表征方法。

这里还提到一个比较有趣的点，SNLI 数据集适合用来训练句子表征，猜想可能是句子对能给任务带来一些 “指示”，比直接用单个句子学到的表征更加 “深刻”。之前只知道 “领域适配” 效果有提升，现在进一步证实，对文本的深入理解（相似句）同样可以提升效果。

模型算法

三种 Pooling 方法之前已经提到过，不再赘述。代码如下：

# From https://github.com/UKPLab/sentence-transformers/

# cls_token 直接使用 bert 的输出

# max pooling
input_mask_expanded = attention_mask.unsqueeze(-1).expand(token_embeddings.size()).float()
# Set padding tokens to large negative value
token_embeddings[input_mask_expanded == 0] = -1e9  
max_over_time = torch.max(token_embeddings, 1)[0]

# average pooling
input_mask_expanded = attention_mask.unsqueeze(-1).expand(token_embeddings.size()).float()
sum_embeddings = torch.sum(token_embeddings * input_mask_expanded, 1)
sum_mask = input_mask_expanded.sum(1)
sum_mask = torch.clamp(sum_mask, min=1e-9)
sum_embeddings / sum_mask

模型架构有两种，分别是：Siamese 和 Triplet，这主要是为了适配不同的任务，对句子对向量的输出做了不同处理。具体如下图（图片来自原论文）所示：

c3c9dcf45a3607699951b7ff3225a2c2.png

三类目标损失函数：

  • 分类（u v 分别是两个句子的向量）：

  • 回归：使用均方误差损失（MSE Mean-Squared-Error Loss）

  • Triplet（给定句子 a，p 和 n 分别表示正向和反向句子）：

    距离评估采用 Euclidean distance，ε 表示 sp 至少比 sn 更接近 sa ε 那么多，文中设为 1。

代码如下（做了部分简化处理）：

# Code From https://github.com/UKPLab/sentence-transformers/
class SoftmaxLoss(nn.Module):
    def __init__(self, model: SentenceTransformer, 
                 sentence_embedding_dimension: int, num_labels: int):
        super(SoftmaxLoss, self).__init__()
        self.model = model
        self.num_labels = num_labels
        self.classifier = nn.Linear(3 * sentence_embedding_dimension, num_labels)
        self.loss_fct = nn.CrossEntropyLoss()

    def forward(self, sentence_features: Iterable[Dict[str, Tensor]], labels: Tensor):
        reps = [self.model(sentence_feature)['sentence_embedding'] 
                for sentence_feature in sentence_features]
        reps.append(torch.abs(rep_a - rep_b))
        features = torch.cat(reps, 1)
        output = self.classifier(features)
        loss = self.loss_fct(output, labels.view(-1))
        return loss

class MSELoss(nn.Module):
    def __init__(self, model):
        super(MSELoss, self).__init__()
        self.model = model
        self.loss_fct = nn.MSELoss()

    def forward(self, sentence_features: Iterable[Dict[str, Tensor]], labels: Tensor):
        rep = self.model(sentence_features[0])['sentence_embedding']
        return self.loss_fct(rep, labels)

class TripletLoss(nn.Module):
    def __init__(self, model: SentenceTransformer, triplet_margin: float = 1):
        super(TripletLoss, self).__init__()
        self.model = model
        self.distance_metric = lambda x, y: F.pairwise_distance(x, y, p=2)
        self.triplet_margin = triplet_margin

    def forward(self, sentence_features: Iterable[Dict[str, Tensor]], labels: Tensor):
        reps = [self.model(sentence_feature)['sentence_embedding'] 
                for sentence_feature in sentence_features]
        rep_anchor, rep_pos, rep_neg = reps
        distance_pos = self.distance_metric(rep_anchor, rep_pos)
        distance_neg = self.distance_metric(rep_anchor, rep_neg)
        losses = F.relu(distance_pos - distance_neg + self.triplet_margin)
        return losses.mean()

这些都比较直观，没啥需要特别说明的，稍微注意下，Triplet 损失其实就是 Relu 函数。

训练的一些配置：

  • BatchSize 16

  • Adam

  • lr 2e-5

  • lr warm-up 10% 训练数据

效果评估

首先看无监督任务，SBERT 训练数据：Wikipedia，NLI。注意，这里 NLI 数据是用来训练 SBERT 的，因为它是个相似度输出的模型（这点可能对其他模型略不公平，因为引入了新数据）。本任务评估的其实是预训练模型输出的句子向量表征的效果。结果如下图所示：

5d367a63c91d0381b724d7efa6f257b4.png

可以看出 CLS 和直接对 BERT 的隐向量取平均效果都不行。后面的几个实验也得出了类似的结论。不过这里有个现象还是值得注意：直接用 BERT 取平均的结果居然能比 SBERT 差那么多。这充分说明：「不同任务使用的不同方法对预训练结果影响比较明显」。

但这并不能说明 BERT 的句子表征能力弱。果然，接下来的有监督任务（相似度）就证明了这一点，如下图所示：

6e3416ed45fafa799d063c3b152b6d22.png

同样的配置下，BERT 表现比 SBERT 还要更好。这说明：「下游任务精调效果显著」。

而且后面在 SentEval 数据集上的实验（下游分类任务）同样也证明了这点，如下图所示：

86bd51fa78598ac1386356febb4d31e2.png

对此，文章中也做了解释：这主要是因为不同任务的配置不同。STS 任务使用 Cosine-Similarity 对句子向量进行评估，Cosine-Similarity 对所有维度平等处理；而 SentEval 使用逻辑回归分类器对句子向量分类，这就允许某些维度对分类结果有更高或更低的影响。同时，也可以发现 「SBERT 对句子表征本身也有一定的提升作用」，这应该算是个额外收获。

结论就是：「BERT 的 CLS 或输出向量无法和 “距离” 类的指标一起使用」。这点也可以说是本文最大的价值所在，正如文章在 Related Work 中所言：还没有针对这些方法（CLS 和平均输出向量）是否能够带来有用句子表征的评估。

另外，还有一个有意思的发现：「在交叉主题场景下，BERT 比 SBERT 表现的好很多」。论文的解释是：BERT 能够使用 Attention 直接对比句子，而 SBERT 必须将单个句子从一个没见过的主题映射到一个向量空间，以使具有相似主张和原因的论点接近。其实，即便是单主题下，BERT 也要好于 SBERT。具体如下图所示：

9bfcecd80301e7eee1caf9bb3ca051ca.png

这几个实验个人感觉还挺有价值，整理一下能带给我们的启发：

  • BERT 是个 “预训练” 的结果，直接使用一般不会有好效果，最好能在具体场景业务上精调一下。说到这里，其实我是不太赞同重新训练领域的 BERT 的，已经有很多实验证明提升有限。而且，预训练模型最主要的就是一个 “泛”，太 “专” 未必就好。不过倒是可以在领域数据上做增量训练。

  • 不同任务使用的训练方法不同效果可能差异很大。这里指的主要是 “预训练方法”，原因自然是不同目标函数的 “导向” 不同，所以我们才会常常看到 BERT 会有个句子对的预训练模型。

  • 不同数据集更适用的模型和任务不同。比如 SNLI 可能更适合训练句子表征（见下面两篇参考论文）。

使用指南

具体使用和 BERT 并无两样，因为模型架构本身其实还是 BERT，Similarity 无非是 BERT 输出之后的应用而已。作者已经将其发布为 pip 包，英文版直接安装后即可使用：

# From https://www.sbert.net/index.html
from sentence_transformers import SentenceTransformer
model = SentenceTransformer('paraphrase-distilroberta-base-v1')
sentences = [
    'This framework generates embeddings for each input sentence',
    'The quick brown fox jumps over the lazy dog.']
embeddings = model.encode(sentences)

另外，这里面的功能也不止句子表征，还包括：相似度计算、文本聚类、语义搜索、信息检索、文本摘要、相似句挖掘、翻译句子挖掘、模型训练、模型蒸馏等。具体可参考文档：

  • SentenceTransformers Documentation — Sentence-Transformers documentation[3]

一起交流

想和你一起学习进步！『NewBeeNLP』目前已经建立了多个不同方向交流群（机器学习 / 深度学习 / 自然语言处理 / 搜索推荐 / 图网络 / 面试交流 / 等），名额有限，赶紧添加下方微信加入一起讨论交流吧！（注意一定o要备注信息才能通过）

7930620717af52666c0fe8757ac55123.png

本文参考资料

[1]

NLP 表征的历史与未来: https://yam.gift/2020/12/12/2020-12-12-NLP-Representation-History-Future/

[2]

Bert-Flow: https://yam.gift/2020/12/13/Paper/2020-12-13-Bert-Flow/

[3]

SentenceTransformers Documentation — Sentence-Transformers documentation: https://www.sbert.net/index.html

[4]

Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks: https://arxiv.org/abs/1908.10084

[5]

UKPLab/sentence-transformers: Sentence Embeddings with BERT & XLNet: https://github.com/UKPLab/sentence-transformers

- END -

b520ad3815f11e2592a65b690946fd6b.png

c6eaac99a22cd6bd8b66b389966f63da.png

NLP 语义匹配：业务场景、数据集及比赛

2021-10-29

2fc753e818d0f2ceeb3791a83ee0e57c.png

GPT Plus Money！B O O M

2021-10-09

f45c695059791ae691fb821fd054a6e6.png

Batch Size对神经网络训练的影响

2021-10-04

76233e09bb6dbefa2244352f0ada3b0b.png

算法黑话大赏，我直呼好家伙！

2021-09-19

f46e8744625fe0d1e2bc6f9d0440b6e7.png

8449d45eca59167e7268d4f90eab9c77.gif

kaiyuan_sjtu
关注
论文笔记 | Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks
u011150266的博客
07-08 917
作者：迪 单位：燕山大学 论文地址 代码地址 论文来源：EMNLP2019 前言   虽然BERT和RoBERTa在诸如文本语义相似度等任务上达到了SOTA效果，但是它们还存在一些缺点：在这些任务中，它们需要将比较的两个句子都传入到模型中计算，计算开销过大。BERT模型在一个1W句子集合中，找出最相近的一个句子对，需要5千万次推断计算（约65小时）才能完成，所以BERT并不适合语义相似度搜索等任务。   在该论文中，作者提出了一个新的模型，Sentence-BERT（简称SBERT）。SBERT采用..
论文阅读Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks
rotation博客
10-21 4918
论文信息 题目 Sentence Embeddings using Siamese BERT-Networks 使用孪生BERT网络结构的句子嵌入 作者 Nils Reimers, Iryna Gurevych 论文水平 EMNLP 2019 其它 论文下载地址：https://arxiv.org/abs/1908.10084 该论文的相关代码已开源，github链接：sentence-transformers，sentenc-tansformers文档：官方文档 sentenc-tansformers非常
句子表征｜Poly-Encoders
kavin_star的博客
12-30 913
目录 一、论文背景 二、模型架构 三、实验结果 论文：Poly-Encoders: Architectures And Pre-Training Strategies For Fast And Accurate Multi-Sentence Scoring 一、论文背景 计算两个句子相似度有两种技术架构：Bi-Encoder（俗称双塔)和Cross-encoder，这两个的区别在于交互的时机，Bi-Encoder构架input_text和candidate分别训练，直到最后预...
句子表征（各项异性等偏差）：PromptBERT: Improving BERT Sentence Embeddings with Prompts
Hekena的博客
12-31 955
句子表征存在不足之处，可能面临各向异性、可能受到词频的影响、可能受到子词、大小写等的影响等等。Gao et al.(2019)和Wang et al.(2020)指出，对于语言建模，使用最大似然训练通常会产生一个各向异性的词嵌入空间。“各向异性”是指单词嵌入在向量空间中占据一个狭窄的锥体。这种现象也可以在Bert、GPT-2等预训练过的Transformers上观察到。
句子语义表征/句子向量
jylong的博客
03-21 3383
大体上可以分为无监督方式和监督方式 无监督句子语义表征方法： １、一种最经典的方法是在One-hot词语语义表征的基础上使用Bag-of-Words技术。缺点：一是它丢失了词语在句子中的顺序信息；二是它忽略了词语的语义信息，每个词的One-hot表征都是等距离的。 2、类似的还有用word2vec来替换One-hot词向量，使用Bag-of-Words技术，构成句子向量。还可以结合TF-ID...
具有泛化能力的句子表征模型：Gensen评测实验
大数据挖掘SparkExpert的博客
02-21 1077
Learning General Purpose Distributed Sentence Representations via Large Scale Multi-task Learning（https://arxiv.org/abs/1804.00079）一文发表在 ICLR 2018，中，该论文提出的模型能够在各种各样的任务中泛化句子表征，且设计了一个一对多的多任务学习框架。其主要贡献的描...
Sentence-BERT实现文本匹配【分类目标函数】
日积月累，天道酬勤
09-03 2219
本文实战Sentence-BERT提出的如何训练嵌入模型的方法，主要是基于句子对的分类目标函数实现。
【文本匹配】Sentence-BERT Sentence Embeddings using Siamese BERT
想学nlp的kayla
06-21 755
Sentence-BERT: Sentence Embeddings using Siamese BERT-Network EMNLP2019年的论文，用bert+孪生网络加速语义表征。BERT和RoBERTa在语义相似度上达到了state-of-the-art，但在10000个句子中查找最相似对需要话费约65个小时来进行5千万次推断。BERT的结构决定了它并不适用于语义结构......
Sentence-Bert论文笔记
weixin_43689673的博客
07-27 696
本文总体介绍了文本匹配任务中在Siamse Network基础上改进而来的Sentence-BERT模型。
BERT-bert从训练到部署-附完整流程教程-优质项目实战.zip
10-20
通过掩码语言模型（Masked Language Model, MLM）和下一句预测（Next Sentence Prediction, NSP）两种预训练任务，BERT能够学习到单词的深层次语义和句子间的关系。预训练完成后，BERT模型需要在特定的下游任务上...
Sentence-BERT实战
热门推荐
日积月累，天道酬勤
09-24 1万+
本文主要介绍了SBERT作者提供的官方模块的使用实战。
详细介绍Sentence-BERT:使用连体BERT网络的句子嵌入
zag666的博客
01-30 5063
Sentence-BERT（SBERT）是一个使用连体和三连体BERT网络的修改，能够得出有语义的句子嵌入。这使得BERT能够用于某些目前为止还不适用于BERT的新任务。这些任务包括大规模的语义相似性比较、聚类和通过语义搜索的信息检索。BERT在各种句子分类和句子对回归任务上创造了新的最先进的性能。BERT使用交叉编码器：两个句子被传递给transformer网络并预测目标值。然而由于可能的组合太多，这种设置不适合各种配对回归任务。
文本匹配之Sentence Bert模型
dzysunshine的博客
09-26 5677
文章目录前言Bert句向量表示效果为什么不好？Sentence Bert 原理 前言 目前，对于大部分的NLP任务来说，通过对预训练模型进行微调的方式已经取得了很好的效果，但对于某些特定的场景，我们常常需要的是文本的表示，比如文本聚类，文本匹配（搜索场景）等等； 在进行文本匹配任务时，在计算语义相似度时，Bert模型需要将两个句子同时进入模型，进行信息交互，假如有10000个句子，找出最相似的句子对，需要计算（10000*9999/2）次，非常耗时。而Sentencebert可以预先将标准库中的问题预先离线
SentenceBERT 回顾
qq_42946379的博客
04-01 293
SentenceBERT回顾
【EMNLP 2019】Sentence-BERT
09-15 2026
在许多NLP任务（特别是在文本语义匹、文本向量检索等）需要训练优质的句子表示向量，模型通过计算两个句子编码后的Embedding在表示空间的相似度来衡量这两个句子语义上的相关程度，从而决定其匹配分数。尽管基于BERT在诸多NLP任务上取得了不错的性能，但其自身导出的句向量（【CLS】输出的向量、对所有输出字词token向量求平均）质量较低。由于BERT输出token向量预训练中，后面接的的分类的任务。所以其实输出token向量并不适合作为生成句子表示。
sentence-BERT
张寂黯的博客
12-22 1099
论文阅读笔记
Sentence-BERT论文阅读笔记
梆子井欢喜坨的博客
10-01 2266
目录1. 第一篇论文《Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks》1.1 论文基本信息1.2 动机1.3 模型1.4. 实验1.4.1 训练所用的数据集1.4.2 实验结果1.4.3 消融实验1.5 小结2. 第二篇论文2.1 论文基本信息2.2 动机2.3 模型2.3.1 Augmented SBERT2.3.2 Domain Adaptation with AugSBERT2.4 实验2.4.1 数据集2.4.1.1 单领
《CoSENT（一）：比Sentence-BERT更有效的句向量方案》pytorch实现和中文实验
HUSTHY的博客
02-09 6464
一、CoSENT简介 目前已经有了很多比较有效的bert系列句向量方案，其中最易于实现以及数据构造比较友好并且效果也比较好的方法就是Sentence-BERT。当然Sentence-BERT的训练目标和推理任务的目标是不一致的，它的训练目标是优化一个分类任务，而推理却是计算文本的余弦相似度。那么有没有一种更好的方案来解决Sentence-BERT文本相似度训练和推理优化目标不一致的问题？苏神的博客——CoSENT（一）：比Sentence-BERT更有效的句向量方案给出了答案，直接优化文本对的余...
论文笔记--Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks
weixin_38124427的博客
05-16 751
BERT系列文章阅读之SBERT：一种更快更优的文本对分析方法
bert少量文本表征
最新发布
01-03
### 使用 BERT 进行小规模文本表示 对于小规模文本的表征，BERT 提供了一种强大的方法来捕捉文本中的语义信息。由于 BERT 是一个预训练模型[^2]，其已经具备了丰富的语言理解和表达能力。 为了利用 BERT 表征少量文本，首先需要准备数据集，并将其转换成适合 BERT 输入的形式。这涉及到将原始文本分割为标记(tokens)，并在开头添加特殊标记 `[CLS]` 来指示这是分类任务的一部分[^1]。下面展示了一个具体的 Python 实现例子： #### 数据预处理 ```python from transformers import BertTokenizer tokenizer = BertTokenizer.from_pretrained('bert-base-uncased') texts = ["This is a sample sentence.", "Another example of text."] tokenized_texts = [] for text in texts: marked_text = "[CLS] " + text + " [SEP]" tokenized_text = tokenizer.tokenize(marked_text) indexed_tokens = tokenizer.convert_tokens_to_ids(tokenized_text) tokenized_texts.append(indexed_tokens) print(f'Tokenized Texts:\n{tokenized_texts}') ``` 这段代码展示了如何加载 `BertTokenizer` 并对给定的小批量文本进行分词操作。通过调用 `convert_tokens_to_ids()` 方法可以得到对应的 ID 序列，这些 ID 将作为后续输入到 BERT 模型中使用的特征向量。 #### 加载预训练模型并获取嵌入层输出 ```python import torch from transformers import BertModel model = BertModel.from_pretrained('bert-base-uncased', output_hidden_states=True) with torch.no_grad(): hidden_states, _ = model(torch.tensor([indexed_tokens])) embeddings = hidden_states[-2].numpy() # 取倒数第二层隐藏状态作为最终embedding print(embeddings.shape) # 输出形状应类似于 (batch_size, sequence_length, embedding_dim) ``` 这里选择了倒数第二个隐含层的状态作为最终的嵌入向量，因为研究表明这样的选择能够更好地保留上下文信息。当然也可以根据具体需求调整这一设置。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值