爬在NLP的大道上——More Robust Dense Retrieval with Contrastive Dual Learning

论文地址：https://arxiv.org/pdf/2107.07773.pdf

Motivation：

1. 现有的dense retrieval方法虽然很有效，但是q、p在空间中的分布还是很混乱（凭嘴说），原因在于现有的模型旨在对于给定的q，拉近+document的距离，拉远-document的距离即可，但q本身的分布情况却没有关注。
2. 所以需要对q也进行空间上的规划。

Method：

自然地，对原有的方法进行对称设计即可：

1. q，p均直接使用BERT进行编码

2. 原有方法：固定q，listwise一正多负地引入p进行训练

3. 引入对称方法：固定p，listwise一正多负地引入q进行训练

4. 两者加和作为Loss：

Tips：

1. 想到了q端地对称训练并实践（技术上没啥亮点）
2. 工作主要集中在通过后续一系列指标证明本方法使得qp地空间向量分布更加合理

Results：

1. MS Marco召回任务上较ANCE（SOTA）有略微提升
2. qp在空间上地分布方差更小，通过距离可视化后证明分布更加符合预期（从召回结果出现的频率来分析）

My Thoughts：

1. 实际上就是想到了q的对称训练，发现有效果

（ps：本文图片均来自于原paper，侵删）