预训练模型语义相似性计算(五)--poly-encoder

         bi-encoder(SBERT)和cross-encoder两种模型架构都有各自的优缺点，FAIR在ICLR2020上提出的这个poly-encoder的架构集成了两者的优点，并且避免了缺点。poly-encoder的架构图如下：

        poly-encoder的架构其实很简单，对contexr-query向量进行再一次编码生成m个向量表示，再与candidate-query进行attention计算得到最后的相似表示。bi-encoder在表示的缺点是两个query在经过bert encoder得到向量表示之后直接进行了计算，而最后的简单计算并不能考虑到query之间的更细粒度的表示，前面的encoder其实已经对query的表示固定化在一个向量中，所以无法进行更精准的匹配。

        Poly-encoder架构在实际部署时是可以离线计算好所有candidates的向量的，所以只需要计算query对应的m个query-context向量，再通过简单的dot product就可以快速计算好对应每个candidate的“动态的” final-context-query向量。看起来Poly-encoder享有Bi-encoder的速度，同时又有实现更精准匹配的潜力。但是poly-encoder其实也没有对两个query进行交叉编码，只是对于context-query和candidate-query各自进行了进一步的编码，细粒度的表示可能还是比不上cross-encoder的形式。

        经过实验与之前的sbert实验结果对比，训练收敛时间需要更久，在训练集的损失和accuracy会有一定的提升，在两个测试集上的测试效果并没有提升，都相差了一个点左右。由于准确率上没有提升，所以并没有进一步对检索速度进行实验。