文本匹配
文章平均质量分 93
默默无闻的[UNK]
这个作者很懒,什么都没留下…
展开
-
[ECIR 2022] Improving BERT-based Query-by-Document Retrieval with Multi-Task Optimization
基于BERT等PLMs的排序模型会面临最大输入长度的限制,然而近来的工作也证明了许多用于处理长文本的transformer-based models 在被应用到长文本检索任务时,也不够有效。基于此,本文研究在有限输入长度的限制下提升基于BERT的排序模型的检索性能。这个想法很novel,BERT作为re-ranker的时候,需要将两个文本拼接到一起输入,本文提出同时将这些文本单独输入BERT,并使用triplet loss来优化模型对文本的表示。推理时,模型只被用作point-wise的预测。原创 2023-02-15 16:08:10 · 120 阅读 · 0 评论 -
[COLING 2022] DPTDR: Deep Prompt Tuning for Dense Passage Retrieval
在工业应用的多任务场景中,基于fine-tuning (FT) 的方法在部署成本方面是不友好的。每次检索都必须重新部署一个backbone模型,因为每个任务中的backbone模型的权重是微调的,因此略有不同。Deep Prompt Tuning (DPT) 享有参数高效的特点,其中产生的prompt是轻量级的,可以很容易地传递给在线PLM服务,从而克服了FT的上述挑战。本文探究DPT是否能达到与SOTA FT方法可比的性能。因为在性能相当的情况下,DPT在部署上比FT更友好。原创 2022-11-27 14:26:47 · 443 阅读 · 0 评论 -
[COLING 2022] DABERT: Dual Attention Enhanced BERT for Semantic Matching
基于Transformer的预训练语言模型,如BERT,在语义匹配方面取得了显著的成果。然而,现有的模型仍然存在捕捉细微差异的能力不足的问题。为了缓解这一问题,我们提出了一种新型的双注意增强型BERT(DABERT),以增强BERT捕捉句子对中细微差异的能力。原创 2022-11-01 14:08:59 · 383 阅读 · 0 评论 -
[EMNLP 2022] VIRT: Improving Representation-based Text Matching via Virtual Interaction
本文提出了一种虚拟交互(VIRT)机制,它通过将交互模型的注意图蒸馏给表征模型的Siamese编码器来近似交互建模能力,而不需要额外的推理成本。原创 2022-10-31 12:30:28 · 306 阅读 · 0 评论