#今日论文推荐# ACL 2022 | 基于最优传输的对比学习实现可解释的语义文本相似性

#今日论文推荐# ACL 2022 | 基于最优传输的对比学习实现可解释的语义文本相似性

聚焦的问题：最近微调预训练语言模型来捕捉句子 embedding 之间相似性的方法已经取得了 SOTA 的效果，比如 SimCSE。具体地，它们首先定义了一个句子 embedding 的相似性分数（常用的比如余弦相似度），然后利用 NLI 或者 STS 的数据集微调 BERT 模型，这里的句子 embedding 常常是通过 BERT 最后一层平均池化或者直接取 [CLS] token 的 embedding 得到。
1. 作者认为这种方法可解释性不足，通常来说，如果能够从 token 层面找到 cross-sentence 对齐以及计算出各个对齐部分的重要程度是有利于分析句子相似性的，目前方法都没有做到这种 token 层面的显式 cross-sentence 对齐。关于 cross-sentence 对齐，可以通俗理解为找到两个句子间语义互相匹配的 token pairs。
2. 目前的方法采用平均 token embedding 得到句子表示，用于计算句子相似性，这是 sentence-level 层面的建模，无法从 token-level 层面显式地融合语义对齐的 token pairs 之间的距离。

提出的方法：
1. 作者首先提出了一个基于最优传输理论的分析方法，用来分析现有的一些 STS 方法比如 SimCSE。发现目前平均池化+余弦相似度的方法存在传输矩阵 rank=1 的问题，这使模型无法有效地将语义对齐的 token pairs 的相似性融合到整体的句子相似性中。
2. 为了解决上述问题，作者提出了一个基于最优传输的距离度量，RCMD。
3. 此外，作者还提出了 CLRCMD，一个对比学习框架，用于优化句子对的 RCMD，有助于增加句子相似性的质量以及可解释性。

论文题目：Toward Interpretable Semantic Textual Similarity via Optimal Transport-based Contrastive Sentence Learning
详细解读：https://www.aminer.cn/research_report/62de07457cb68b460ff36921https://www.aminer.cn/research_report/62de07457cb68b460ff36921
AMiner链接：https://www.aminer.cn/?f=cs​​​​​​​