双塔模型没效果了？请加大加粗！

最新推荐文章于 2024-07-20 12:50:04 发布

炼丹笔记

最新推荐文章于 2024-07-20 12:50:04 发布

阅读量918

点赞数

文章标签：网络机器学习深度学习人工智能神经网络

本文链接：https://blog.csdn.net/m0_52122378/article/details/122682536

版权

研究表明，双塔模型在特定领域的召回任务中表现不佳，常被认为仅使用最后一层点积限制了其能力。然而，《Large Dual Encoders Are Generalizable Retrievers》论文提出，通过扩展双塔网络容量，尤其是使用Generalizable T5-based dense Retrievers (GTR)，能显著提升跨域召回任务的效果。实验在BEIR数据集上展示了GTR的优越性。论文采用T5模型，通过增加参数量并保持768维输出，证明了增强encoder而不改变点积限制的有效性。

摘要由CSDN通过智能技术生成

很多研究表明，双塔在一个域表现不错，在其他域表现不好了。一个广泛被认同的观点就是双塔仅仅用了最后一层的点积算分，这限制了模型的召回能力。这篇论文<Large Dual Encoders Are Generalizable Retrievers>就否认了这个观点，通过扩展双塔的网络，就能提升模型对各个召回任务的效果，特别是那些跨域的。实验结果表明，该论文提出的Generalizable T5-based dense Retrievers(GTR)在BEIR数据集上显著优于现存的一些召回模型。

在query和document的召回任务中，他们分别被encode到同一空间中，然后使用近邻检索给query高效的找到对应document。很多论文都表示，点积(或是cos相似度)不能够有效抓住语意相关性，这篇论文并不赞同。值得注意的是，扩展双塔网络的capacity和预训练模型(像是bert)的扩展不同，因为有瓶颈层(用于点积的那层)的存在。提升encoder的capacity却不能改变点积限制了query和document交互信息的现实。为了验证这个假设，该文使用了T5模型，使得encoders可以有50亿的参数，并固定顶层为768维度如下图所示。最后评估了GTR在BEIR benchmark上zero shot的效果，在9个域和18个召回任务的表现是让人吃惊的。