【论文阅读】Multi-View Document Representation Learning for Open-Domain Dense Retrieval

最新推荐文章于 2024-10-16 10:02:51 发布
最新推荐文章于 2024-10-16 10:02:51 发布
阅读量735 收藏 2
点赞数
分类专栏： nlp学习中 文章标签： 论文阅读 深度学习 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/vegetable_me/article/details/127467900
版权

论文阅读1：Multi-View Document Representation Learning for Open-Domain Dense Retrieval

论文来源：ACL2022
论文地址：https://arxiv.org/abs/2203.08372

领域：检索，密集检索(Dense Retrieval)，初次检索，文档表示

做法简介：用多个embeddings表示一个文档；设置局部损失让embeddings避免坍缩成1个，以改善文档表示

本文大纲

阅读前的碎碎念

接下来详细解释一下论文的一些点，因为本人也是科研小白，所以可能有的东西不是很了解，说错的望各位海涵。

主要思路

这部分主要介绍作者考虑了哪些内容，包括如何输出文档表示、如何训练模型（当然包括数据集的简单介绍）和一些其他的小细节。

初次检索相关

1.检索体系结构

论文中列举了检索的几种模型体系
用于检索/重新排序的不同模型体系结构的对比
作者最后选择了Bi-encoder的形式做密集检索，这种方式可以由ANN（近似最近邻）支持，好处是查询很快

2.如何计算查询和文档的相关度

计算评分的方式则是采用相似度函数代替查询和文档的相关性
相似度度量函数
相似度函数可以取向量相似度、欧氏距离等等

本文考虑了多个评分（可以结合下图看）
全局-局部损失多视图表示学习的一般框架。灰色块表示不同层次的分数类别。
其中，个人分数由查询表示和文档每个句子的表示计算，用它们的内积表示；聚合分数取这些相似度中最大的那个作为表示（max-pooler）
聚合分数的计算

小小的总结

总之这部分主要说的是，我们是先用向量表示句子或者查询，然后再通过函数计算相似性的，这很自然。

模型相关

向量表示

1.采用模型输出的哪个部分作为向量表示？

毫无疑问采用了BERT。
但并不是采用[CLS]输出的向量或者mean_pooling，而是采用了全新的特殊标记[VIE]，这些标记将添加在文本前，与文本一同输入模型。
这些标记将会随机初始化，为了不影响句子顺序，它们的位置编码将被统一设置成0
模型输入
最后使用特殊标记的last_hidden_state的输出的作为文本表示

2.查询向量表示

查询只需要用1个向量表示，作者给出的理由是：
1.查询相对文档比较短 2.查询的语义是比较单一的

3.文档向量表示

文档需要用多个向量表示，作者对确认K的数量进行了一些小的实验，分别实验了K=4,6,8,12是否会影响表示效果，最后发现K=8的时候效果最好，而K增大到12以上，表现有微小下降，猜测一个文档可能是没有那么多视图。

训练损失

训练损失是最近经常用的对比学习（请注意，这篇论文选的都是有监督数据集），主要分为全局损失和局部损失（可以看一下相关度那张图上的部分）

总损失

总体损失
λ，字面意义上来看，它“指导”模型更应该关注哪部分的损失。作者做了一个实验确定λ选多少比较好，最后发现λ=0.01表现比较好

在SQuAD上的实验

全局损失

全局损失表示
这个大概没啥好解释的，就是和“负文档”对比，τ是一个超参数，用于缩放温度，总之就是τ取合适的调优效果就会更好

局部损失

局部损失
上文说到了这个多向量表示的目的是让文档不同的部分匹配不同的查询，则局部损失是使得查询与现在的这个viewer（也就是其中一个文档表示向量）距离更近，viewer之间离得远一点。

数据集

一共采取了3个数据集，Natural Questions，TriviaQA，SQuAD Open
简略的介绍一下它们的情况。

NQ简介：https://paperswithcode.com/dataset/natural-questions

TQ简介：https://paperswithcode.com/dataset/triviaqa

SQuAD简介：https://paperswithcode.com/dataset/squad

(作者处理了一下数据集 Both NQ and TQA have about 60K training data after processing and SQuAd has 70k. )
以下是全部数据集的大小

NQTQSQuAD
数据集来源WikipediaWikipedia/WEBWikipedia
训练集大小307,373950K107,785(536 articles)
测试集大小7,842?-
验证集大小7,830--
效果

分别评估了TOP 5/TOP 20/TOP 100的准确率
实验效果
当然后面还有对比查询速度，以及不同实验参数取得的效果，就不赘述了。

nlp菜菜
关注
专栏目录
AAAI 2022 论文列表
gbstack08的专栏
02-15 2万+
链接及代码之后会更新 GitHub链接：https://github.com/gbstack/AAAI-2022-papers Scaled ReLU Matters for Training Vision Transformers Pichao Wang, Xue Wang, Hao Luo, Jingkai Zhou, Zhipeng Zhou, Fan Wang, Hao Li, Rong Jin Search Strategies for Topological Network Optimizat
（十一：2020.08.28）CVPR 2017 追踪之论文纲要（译）
Jojo论文基地
08-28 3275
CVPR 2017 追踪之论文纲要（修正于2020.08.28）讲在前面论文目录 讲在前面 论坛很多博客都对论文做了总结和分类，但就医学领域而言，对这些论文的筛选信息显然需要更加精细的把控，所以自己对这1400篇的论文做一个大致从名称上的筛选，希望能找到些能解决当前问题的答案。 论文链接建议直接Google论文名，比去各种论文或顶会网站找不知道快捷多少。 下面皆为机器翻译以方便我第一次筛选，我会慢慢修正，但现在请结合。有兴趣的可以问我要处理这些论文并自动翻译的脚本。 Respect！ 论文目录
【自然语言处理】【向量检索】面向开放域稠密检索的多视角文档表示学习
bqw的博客
05-26 950
面向开发域稠密检索的多视角文档表示学习 《Multi-View Document Representation Learning for Open-Domain Dense Retrieval》 论文地址：https://arxiv.org/pdf/2203.08372.pdf 一、简介 ​ 过去几年里，随着预训练语言模型的进步，稠密检索已经成为开发域文本检索的重要且有效的方法。一个典型的稠密检索通常会采用一个双编码器架构来将query和document编码为单个低维向量，并基于它们的表示来计算相关分数。
面向开放域密集检索多视图文档表示学习，微软提出​MVR，性能SOTA！（ACL 2022）...
我爱计算机视觉
05-18 488
关注公众号，发现CV技术之美本文分享 ACL 2022 论文『Multi-View Document Representation Learning for Open-Domain Dense Retrieval』，微软提出面向开放域密集检索的多视图文档表示学习，《MVR》，性能SOTA！详细信息如下：论文链接：https://arxiv.org/abs/2203.083...
ACL2022 | 对比学习在开放域段落检索和主题挖掘中的应用
zenRRan的博客
08-16 864
每天给你送来NLP技术干货！来自：复旦DISC引言对比学习是一种无监督学习方法。它的改进方向主要包括两个部分：1.改进正负样本的抽样策略 2.改进对比学习框架 本篇主要介绍了3篇源自ACL2022的有关对比学习的文章，前2篇文章涉及开放域段落检索，最后一篇文章涉及主题挖掘。文章概览1. Multi-View Document Representation Learning for Open-dom...
全局对比损失（GC）& 局部对比损失（LC）
weixin_73784868的博客
12-10 567
这种方法被称为“本地对比”，因为所有的计算和反向传播都在本地GPU上进行，而不涉及其他GPU。这与“全局对比”方法形成对比，后者会在所有的GPU上进行反向传播。的训练中与只在本地进行反向传播相比，
ACL 2022 主会长文论文分类整理
一颗小甜心的博客
04-22 2205
导读 ACL 2022是CCF A类会议，人工智能领域自然语言处理（Natural Language Processing，NLP）方向最权威的国际会议之一。第60届计算语言学协会计划于今年5月22日-5月27日在爱尔兰都柏林召开。官方发布的接收论文列表： Accepted Papers (https://www.2022.aclweb.org/papers) 目录 Adversarial attack and Robustness【对抗攻击和鲁棒性】 Dialogu.
（八：2020.08.27）CVPR 2020 追踪之论文纲要（译）
Jojo论文基地
08-27 1万+
CVPR 2019 追踪之论文纲要（修正于2020.08.27）讲在前面论文目录 讲在前面 论坛很多博客都对论文做了总结和分类，但就医学领域而言，对这些论文的筛选信息显然需要更加精细的把控，所以自己对这1400篇的论文做一个大致从名称上的筛选，希望能找到些能解决当前问题的答案。 论文链接建议直接Google论文名，比去各种论文或顶会网站找不知道快捷多少。 Respect！ 论文目录 论文 概要 12-in-1 - Multi-Task Vision and Language Repre
CVPR 2017论文集锦（论文分类）—— 附录部分翻译
热门推荐
dengheCSDN的博客
08-23 2万+
作为计算机视觉领域的三大顶级会议之一，CVPR 2017 又收录了很多优秀的文章。具体可参见 CVPR 的论文官网：http://www.cvpapers.com/cvpr2017.html        Machine Learning 1 （机器学习） Spotlight 1-1A  （关注的焦点 1-1 A） Exclusivity-Consistency Regular
（十：2020.08.28）CVPR 2018 追踪之论文纲要（译）
Jojo论文基地
08-28 7232
CVPR 2018 追踪之论文纲要（修正于2020.08.28）讲在前面论文目录 讲在前面 论坛很多博客都对论文做了总结和分类，但就医学领域而言，对这些论文的筛选信息显然需要更加精细的把控，所以自己对这979篇的论文做一个大致从名称上的筛选，希望能找到些能解决当前问题的答案。 论文链接建议直接Google论文名，比去各种论文或顶会网站找不知道快捷多少。 下面皆为机器翻译以方便我第一次筛选，我会慢慢修正，但现在请结合。有兴趣的可以问我要处理这些论文并自动翻译的脚本。 Respect！ 论文目录
Fully Unsupervised Person Re-identification via Selective Contrastive Learning
qq_44935078的博客
03-29 3753
1. 整体摘要 1.1 问题 1）完全无监督学习的基本方法就是使用聚类算法或分类算法预测伪标签或者训练一个神经网络用于生成伪标签。但是这种方法依赖于标签预测的正确率，并且使得无监督行人重识别不再是一个检索任务； 2）传统的对比学习策略仅使用单个的正样本来定义对比损失，但实际上在训练集中，一个行人对应多张图片。并且把除去正样本以外的所有样本都认为是负样本； 3）在以往的研究中，使用全局鉴别特征或者局部鉴别特征进行特征学习，但全局鉴别特征有时候会将不同行人的特征映射为相似的特征表示；局部特征虽然能够为行
图像修复中的一个里程碑：全局和局部一致性的图像补全
AI公园
03-23 3570
点击上方“AI公园”，关注公众号，选择加“星标“或“置顶”作者：Chu-Tak Li编译：ronghuaiyang导读全局一致让图像补全的内容契合上下文，局部一致性让纹理更加真实。欢迎大家...
行人重识别——全局特征和局部特征
s123l4的博客
07-09 6228
全局特征 全局特征：每一张行人图片的全局信息进行一个特征抽取，这个特征没有任何的空间信息 局部特征 局部特征是对图像中的某一个区域进行特征提取，最后将多个局部特征融合起来作为最终特征。 常用的方式：切片、姿态、分割、网格 一些概念 水平切块 Gate Siamese AlignedReID PCB ICNN SCPNet 总结： 将图像进行水平方向的等分，每一个水平切块通过水平池化提取一个特征 Gate Siamese与AlignedReID通过设计规则融合所有的局部特征计算距离 P
行人重识别(19)——代码实践之全局特征与局部特征难样本挖掘三元组损失（LG_TriHard_Loss.py）
R.I.P Kobe Bryant
01-05 793
介绍全局特征与局部特征难样本挖掘三元组损失（LG_TriHard_Loss.py）的作用、编写思路、python代码。
[论文阅读]: Detecting Copyrighted Content in Language Models Training Data
m0_52911108的博客
10-13 753
DE-COP，这是一种与黑盒模型兼容的创新方法，用于检测训练数据，它基于这样的直觉，即如果模型能够从其释义版本中区分训练中使用的句子和看不见的句子，则表明它们可能接受过该特定内容的训练。给出了基准数据集，可以直接使用。
【论文阅读】03-Diffusion Models and Representation Learning: A Survey
最新发布
Mr_GYF的博客
10-16 970
左图：显示使用自监督制导信号条件反射的扩散模型的定性生成结果。右图：显示下游图像任务的定性结果，这些任务利用了在训练扩散模型中学习到的表征。改编自Li等人[100]，Hu等人[73]，Pan等人[130]，Baranchuk等人[15]，Yang和Wang[173]图1所示，展示了关于扩散模型和表示学习的已发表和预印本论文的年度数量。对于2024年，绿色条表示截至2024年6月（含2024年6月）收集的论文数量，灰色虚线表示全年的预测数量。这一段解释如何通过重新参数化，简化原始的生成扩散模型，对。
DAB-DETR: DYNAMIC ANCHOR BOXES ARE BETTER QUERIES FOR DETR论文笔记
Zssss12的博客
10-15 1066
在本文中，我们提出了一种新的查询公式，使用动态锚框进行DETR (DEtection TRansformer)，并对查询在DETR中的作用进行了更深入的理解。这个新公式直接使用框坐标作为 Transformer 解码器中的查询，并逐层动态更新它们。使用框坐标不仅有助于使用显式位置先验来改进查询到特征的相似性并消除 DETR 中缓慢的训练收敛问题，还允许我们使用框宽度和高度信息调制位置注意力图。这样的设计清楚地表明，DETR 中的查询可以实现为级联方式逐层执行软 ROI 池化。
《RECONX: RECONSTRUCT ANY SCENE FROM SPARSEVIEWS WITH VIDEO DIFFUSION MODEL》论文阅读
programmer_A的博客
10-15 1006
传统的3D重建方法主要用于处理经过校准的摄像机拍摄的真实照片，而直接应用这些方法于生成的视频时，由于生成图像的不确定性，难以恢复一致的3D场景。方差σi表示生成的视图与实际视图之间的差异。置信感知机制主要通过全局对齐生成帧的像素值，建模每个像素的颜色值为高斯分布，其中均值是生成帧的像素值，方差则衡量生成帧和真实帧的差异。”，也就是说，它不直接解决3D重建的病态问题，而是通过时间维度（视频序列）生成一个逐帧一致的3D场景。首先，利用3D结构引导来提升生成帧的质量，使其更加符合稀疏图像视角下的3D结构。
Feature Representation Learning for Unsupervised Cross-domain Image Retrieval
05-11
Feature representation learning for unsupervised cross-domain image retrieval refers to the process of extracting meaningful features from images in one domain (e.g., paintings) and using those features to retrieve similar images in another domain (e.g., photographs). This is typically done in an unsupervised manner, meaning that no explicit labels or annotations are provided to guide the learning process. One common approach to unsupervised feature representation learning is to use deep neural networks, such as convolutional neural networks (CNNs), to extract high-level features from images. These features can then be used to train a retrieval model that maps images from one domain to the other based on their similarity in feature space. There are several challenges to unsupervised cross-domain image retrieval, including differences in image content, style, and quality between domains. To address these challenges, researchers have developed a variety of techniques, such as domain adaptation, data augmentation, and adversarial training, to improve the performance of feature representation learning for cross-domain image retrieval. Overall, feature representation learning for unsupervised cross-domain image retrieval is an important area of research with many potential applications, including art history, fashion, and product recommendation.
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值