论文浅尝 | 使用孪生BERT网络生成句子的嵌入表示

论文笔记整理：吴杨，浙江大学计算机学院，知识图谱、NLP方向。

---

https://www.ctolib.com/https://arxiv.org/abs/1908.10084

动机

     谷歌的 BERT 预训练模型，已经能够在两个句子的语义相似度匹配等需要输入一对句子的任务上取得了非常好的效果，但是，假如说现在有N个句子，需要为每个句子找出与其最相似的另一个句子，显然使用BERT需要O(N*N)的时间，这是非常耗时的操作。因此有必要通过生成每个句子的Embedding，然后通过Embedding直接计算相似度来大大减轻计算量。由于直接使用BERT的输出（CLS，或者平均）作为句子Embedding的效果并不好，因此本文提出了使用孪生网络来输出优秀的句子Embedding。

方法

(1) 概述

SBERT 网络是通过 SNLI 数据集（标注了一对句子之间的关系，可以是蕴含、矛盾或者中立）进行预训练的，所谓孪生网络其实就是两个一模一样共享参数的网络，我们首先将第一个句子输入到BERT，通过不同的Pooling方法获得句子的Embedding表示，第二个句子同样如此，然后将这两个Embedding变换后通过Softmax输出这对句子之间关系的概率进行训练（分类问题）。在训练完毕后，我们就可以将下面的BERT和pooling层拿出来，将句子输入得到其Embedding，再进行其他操作（比如计算相似度可以直接使用cosine-sim）

(2) Pooling方法