©PaperWeekly 原创 · 作者|苏剑林
单位|追一科技
研究方向|NLP、神经网络
一月份的时候,笔者写了《你可能不需要 BERT-flow:一个线性变换媲美 BERT-flow》[1],指出无监督语义相似度的 SOTA 模型 BERT-flow 其实可以通过一个简单的线性变换(白化操作,BERT-whitening)达到。
随后,我们进一步完善了实验结果,写成了论文《Whitening Sentence Representations for Better Semantics and Faster Retrieval》。本文将对这篇论文的内容做一个基本的梳理,并在 5 个中文语义相似度任务上进行了补充评测,包含了 600 多个实验结果。
论文标题:
Whitening Sentence Representations for Better Semantics and Faster Retrieval
论文链接:
https://arxiv.org/abs/2103.15316
代码链接:
https://github.com/bojone/BERT-whitening
方法概要
BERT-whitening 的思路很简单,就是在得到每个句子的句向量