Elffffffff-CSDN博客

原创【论文】长文档重排

将模块化重排推广到长文档重排，帮助查询交互文档的每一个段落，充分获取文档信息。

2022-08-02 16:17:09 450 1

Sentence-aware Contrastive Learning for Open-Domain Passage Retrieval论文链接：https://arxiv.org/pdf/2110.07524v3.pdfAbstract现有研究侧重于通过改进负采样策略或额外的预训练来进一步优化。然而，这些研究在从不正确的建模粒度中捕获具有内部表示冲突的段落方面仍然未知。本文工作提出了一个基于更小粒度、上下文句子的改进模型，以缓解相关冲突。详细地：引入了一种段落内负采样策略，以鼓励在同

2022-05-09 14:28:18 468

原创【论文】 Simplified TinyBERT文档检索的知识蒸馏

Simplified TinyBERT: Knowledge Distillation for Document RetrievalAbstract因为BERT的高计算成本限制了它的使用。本文首先实证研究了两种知识蒸馏模型在文档排序任务中的有效性。此外，在最近提出的 TinyBERT 模型之上，还提出了两个简化。Simplified TinyBERT 不仅提升了 TinyBERT，而且在提供 15 倍加速时也显着优于 BERT-Base。IntroductionBERT 中的大量

2022-05-08 15:58:02 569

原创【论文】外部知识的段落重排

Incorporating Explicit Knowledge in Pre-trained Language Models for Passage Re-ranking论文链接：https://arxiv.org/abs/2204.11673ABSTRACT现有的基于 PLM 的重排序器可能很容易受到词汇不匹配和缺乏特定领域知识的影响。本文引入了知识图谱中的显性知识，并且剪去嘈杂和不可靠的关系；将显性知识与隐性知识交互。INTRODUCTION隐性知识限制了PLM模型的重

2022-05-01 08:30:07 1345

原创【论文】使用文本分类的PRF

The Simplest Thing That Can Possibly Work: Pseudo-Relevance Feedback Using Text Classification论文链接：https://arxiv.org/abs/1904.08861v1ABSTRACT本文试图用“最简单的事情”来解决数十年的伪相关反馈问题。文章提出了一种技术，该技术基于使用初始排序列表中的伪标签为每个信息需求训练文档相关性分类器，然后应用分类器对检索到的文档进行重新排序。INTROD

2022-04-27 15:34:30 778

原创【论文】PLM的下一步

Impossible Triangle: What’s Next for Pre-trained Language Models?AbstractPLM模型的不可能三角形：1) 中等模型大小，2) 最先进的小样本学习能力，3) 最先进的微调能力。文章认为，所有现有的 PLM 模型都缺乏可能不三角中的一个或多个属性。为了弥补 PLM 的这些缺失特性，人们提出了各种技术，例如知识蒸馏、数据增强和快速学习，这不可避免地为 PLM 在实际场景中的应用带来了额外的工作。文章提供对 PLM 未来

2022-04-27 14:51:59 1751

原创【论文】PARADE: 段落表示聚合文档

PARADE: Passage Representation Aggregationfor Document Reranking论文链接：https://arxiv.org/pdf/2008.09093.pdfABSTRACT探索了将文档段落中的相关信号聚合成最终排名分数的策略，称这种新方法为 PARADE。INTRODUCTIONPLM 通常会限制序列的长度（例如，限制为 512 个标记）以降低计算成本。因此，当应用于临时排名任务时，PLM 通常用于预测段落或单个句子的相关性。然

2022-04-27 08:01:38 238

原创【论文】UHD-BERT：高效文本检索的超高维稀疏表示

论文链接：https://aclanthology.org/2021.emnlp-main.78.pdfUltra-High Dimensional Sparse Representations with Binarization for Efficient Text RetrievalAbstract神经模型因为效率问题，其dense representations只适合在重排序过程。符号或潜在形式的sparse representations使用倒排索引更加有效。本文提出了一..

2022-04-13 11:49:06 524

原创 Rocchio笔记

伪相关反馈是相关反馈的一种，伪在第一轮返回的文档称为伪文档，默认伪文档是相关的。Rocchio第一轮得通过TF-idf(目前BM25较多)得到伪文档；第二轮

2022-04-10 08:18:44 71

原创【论文笔记】在CommonsenseQA 上追平人类：通过External Attention 增强 Self-Attention

Human Parity on CommonsenseQA: Augmenting Self-Attention with External Attention论文链接：https://www.microsoft.com/en-us/research/uploads/prod/2021/12/CSQA_KEAR.pdfAbstract目前大多数都专注在self-attention 和Transformer架构来提升性能。本文：使用外部attention机制来增强Transformer架构.

2022-04-06 16:37:05 1721 3

原创【论文精读】Hi-Transformer 层次化和交互化的长文档建模

论文链接：https://aclanthology.org/2021.acl-short.107.pdfAbstract因为输入文本长度的复杂性，Transformer难以处理长文档。为此，提出一种分层交互式的HI-Transformer模型对长文档进行建模。Model整体架构如图所示：首先经过sentence Transformer来学习每个句子的语义表示；然后结合句子的位置信息，经过Document Transformer，得到对整个文档建模的句子语.

2022-04-05 19:35:19 3294

elf1110的博客