NLP: SBERT介绍及sentence-transformers库的使用

1. Sentence-BERT

  Sentence-BERT(简写SBERT)模型是BERT模型最有趣的变体之一，通过扩展预训练的BERT模型来获得固定长度的句子特征，主要用于句子对分类、计算两个句子之间的相似度任务。

1.1 计算句子特征

  SBERT模型同样是将句子标记送入预训练的BERT模型来获取句子特征的，但这里并不使用$R_{[CLS]}$作为最终的句子特征。在SBERT中，通过汇聚所有标记的特征来计算整个句子的特征。具体的汇聚方法有两种：平均汇聚和最大汇聚。

• 平均汇聚：使用平均汇聚来获取句子特征。这种方法得到的句子的特征将包含所有词语(Token)的意义。
• 最大汇聚：使用最大汇聚来获取句子特征。这种方法得到的句子的特征将仅包含重要词语(Token)的意义。
  

1.2 SBERT架构

  SBERT模型使用二元组网络架构来执行以一对句子作为输入的任务，并使用三元组网络架构来实现三元组损失函数。

1.2.1 使用二元组网络架构的SBERT模型

  SBERT通过二元组网络(两个共享同样权重的相同网络)架构对执行句子对任务的预训练的BERT模型进行微调。句子对任务具体包括以下两种：

• 句子对分类任务: 判断句子对是否相似。相似则返回1，不相似则返回0。其SBERT模型架构为：
  
• 句子对回归任务：计算两个给定句子之间的语义相似度。其对应的SBERT架构为：

1.2.2 使用三元组网络架构的SBERT模型

  三元组网络架构的SBERT模型的任务计算出一个特征，使锚定句和正向句之间的相似度高，锚定句和负向句之间的相似度低。其架构如下：

2. 计算文本相似度

2.1 bi-encoder VS cross-encoder

  bi-encoder和cross-encoder是语义匹配、文本相似度、信息检索场景下下常用的两种模型架构。这两者都基于深度学习模型(如BERT等)进行编码和比较文本之间的相似度，但它们在计算方式、效率和适用场景上有显著的区别。

2.1.1 bi-encoder

  bi-encoder是一种独立编码方式，即输入的两个文本会被分别编码为独立的向量，然后通过计算这两个