ACL 2024 | 剑桥大学开源：赋能多模态大模型RAG应用！首个预训练通用多模态后期交互知识检索器...

点击下方卡片，关注“CVer”公众号

AI/CV重磅干货，第一时间送达

点击进入—>【Mamba/多模态/扩散】交流群

添加微信号：CVer111，小助手会拉你进群！

扫描下方二维码，加入CVer学术星球！可以获得最新顶会/顶刊上的论文idea和CV从入门到精通资料，及最前沿应用！发论文/搞科研/涨薪，强烈推荐！

论文：https://arxiv.org/abs/2402.08327

PreFLMR: Scaling Up Fine-Grained Late-Interaction Multi-modal Retrievers

主页：https://preflmr.github.io/

简介

PreFLMR模型是一个通用的预训练多模态知识检索器，可用于搭建多模态RAG应用。模型基于发表于 NeurIPS 2023 的 Fine-grained Late-interaction Multi-modal Retriever (FLMR) 并进行了模型改进和 M2KR 上的大规模预训练。目前训练数据、预训练权重、微调代码等均已开源。该模型已在企业级RAG应用成功落地。作者团队将在8月10日-17日参加ACL 2024，欢迎学术交流和商业合作。

背景

尽管多模态大模型（例如GPT4-Vision、Gemini等）展现出了强大的通用图文理解能力，它们在回答需要专业知识的问题时表现依然不尽人意。即使GPT4-Vision也无法回答知识密集型问题（图一上），这成为了很多企业级落地应用的瓶颈。   

图1：GPT4-Vision在PreFLMR多模态知识检索器的帮助下可以获得相关知识，生成正确的答案。图中展示了模型的真实输出。

针对这个问题，检索增强生成（RAG，Retrieval-Augmented Generation）提供了一个简单有效的让多模态大模型成为”领域专家”的方案：首先，一个轻量的知识检索器（Knowledge Retriever）从专业数据库（例如Wikipedia或企业知识库）中获得相关的专业知识；然后，大模型将这些知识和问题一起作为输入，生成准确的答案。多模态知识提取器的知识 “召回能力”直接决定了大模型在回答推理时能否获得准确的专业知识。

近期，剑桥大学信息工程系人工智能实验室完整开源了首个预训练、通用多模态后期交互知识检索器PreFLMR （Pre-trained Fine-grained Late-interaction Multi-modal Retriever）。相比以往常见的模型，PreFLMR有以下特点：

1.PreFLMR是一个可以解决文文检索，图文检索，知识检索等多个子任务的通用预训练模型。该模型经过百万级的多模态数据预训练后，在多个下游检索任务中取得了优秀的表现。同时，作为一个优秀的基底模型，PreFLMR在私有数据上稍加训练就能够获得表现极佳的领域专用模型。   

图2：PreFLMR模型同时在多项任务上取得极佳的多模态检索表现，是一个极强的预训练基底模型。

2. 传统的密集文本检索（Dense Passage Retrieval, DPR）只使用一个向量表征问询（Query）或文档（Document）。剑桥团队在NeurIPS 2023发表的FLMR模型证明了DPR的单向量表征设计会导致细粒度信息损失，导致DPR在需要精细信息匹配的检索任务上表现不佳。尤其是在多模态任务中，用户的问询（Query）包含复杂场景信息，压缩至一维向量极大抑制了特征的表达能力。PreFLMR继承并改进了FLMR的结构，使其在多模态知识检索中有得天独厚的优势。

图3：PreFLMR在字符级别（Token level）上编码问询（Query，左侧1、2、3）和文档（Document，右侧4），相比于将所有信息压缩至一维向量的DPR系统有信息细粒度上的优势。

3. PreFLMR能够根据用户输入的指令（例如“提取能用于回答以下问题的文档”或“提取与图中物品相关的文档”），从庞大的知识库中提取相关的文档，帮助多模态大模型大幅提升在专业知识问答任务上的表现。   

图4：PreFLMR可以同时处理图片提取文档、根据问题提取文档、根据问题和图片一起提取文档的多模态问询任务。

剑桥大学团队开源了三个不同规模的模型，模型的参数量由小到大分别为：PreFLMR_ViT-B (207M)、PreFLMR_ViT-L (422M)、PreFLMR_ViT-G (2B)，供使用者根据实际情况选取。

除了开源模型PreFLMR本身，该项目还在该研究方向做出了两个重要贡献：

1. 该项目同时开源了一个训练和评估通用知识检索器的大规模数据集，Multi-task Multi-modal Knowledge Retrieval Benchmark （M2KR），包含10个在学界中被广泛研究的检索子任务和总计超过百万的检索对。

2. 在论文中，剑桥大学团队对比了不同大小、不同表现的图像编码器和文本编码器，总结了扩大参数和预训练多模态后期交互知识检索系统的最佳实践，为未来的通用检索模型提供经验性的指导。    

下文将简略介绍M2KR数据集，PreFLMR模型，和实验结果分析。

M2KR 数据集

为了大规模预训练和评估通用多模态检索模型，作者汇编了十个公开的数据集并将其转换为统一的问题-文档检索格式。这些数据集的原本任务包括图像描述（image captioning），多模态对话（multi-modal dialogue）等等。下图展示了其中五个任务的问题（第一行）和对应文档（第二行）。

图5：M2KR数据集中的部分知识提取任务    

PreFLMR检索模型  

图6：PreFLMR的模型结构。问询（Query）被编码为Token-level的特征。PreFLMR对问询矩阵中的每一个向量，找到文档矩阵中的最近向量并计算点积，然后对这些最大点积求和得到最后的相关度。

PreFLMR模型基于发表于NeurIPS 2023的Fine-grained Late-interaction Multi-modal Retriever (FLMR)并进行了模型改进和M2KR上的大规模预训练。相比于DPR，FLMR和PreFLMR用由所有的token向量组成的矩阵对文档和问询进行表征。Tokens包含文本tokens和投射到文本空间中的图像tokens。后期交互（late interaction）是一种高效计算两个表征矩阵之间相关性的算法。具体做法为：对问询矩阵中的每一个向量，找到文档矩阵中的最近向量并计算点积。然后对这些最大点积求和得到最后的相关度。这样，每个token的表征都可以显式地影响最终的相关性，以此保留了token-level的细粒度（fine-grained）信息。得益于专门的后期交互检索引擎，PreFLMR在40万文档中提取100个相关文档仅需0.2秒，这极大地提高了RAG场景中的可用性。

PreFLMR的预训练包含以下四个阶段：

· 文本编码器预训练：首先，在MSMARCO（一个纯文本知识检索数据集）上预训练一个后期交互文文检索模型作为PreFLMR的文本编码器。

· 图像-文本投射层预训练：其次，在M2KR上训练图像-文本投射层并冻结其它部分。该阶段只使用经过投射的图像向量进行检索，旨在防止模型过度依赖文本信息。

· 持续预训练：然后，在E-VQA，M2KR中的一个高质量知识密集型视觉问答任务上持续训练文本编码器和图像-文本投射层。这一阶段旨在提升PreFLMR的精细知识检索能力。   

· 通用检索训练：最后，在整个M2KR数据集上训练所有权重，只冻结图像编码器。同时，将问询文本编码器和文档文本编码器的参数解锁进行分别训练。这一阶段旨在提高PreFLMR的通用检索能力。

同时，作者展示了PreFLMR可以在子数据集（如OK-VQA、Infoseek）上进一步微调以在特定任务上获得更好的检索性能。

实验结果和纵向扩展

最佳检索结果：表现最好的PreFLMR模型使用ViT-G作为图像编码器和ColBERT-base-v2作为文本编码器，总计二十亿参数。它在7个M2KR检索子任务（WIT，OVEN，Infoseek， E-VQA，OKVQA等）上取得了超越基线模型的表现。

扩展视觉编码更加有效：作者发现将图像编码器ViT从ViT-B（86M）升级到ViT-L（307M）带来了显著的效果提升，但是将文本编码器ColBERT从base（110M）扩展到large（345M）导致表现下降并造成了训练不稳定问题。实验结果表明对于后期交互多模态检索系统，增加视觉编码器的参数带来的回报更大。同时，使用多层Cross-attention进行图像-文本投射的效果与使用单层相同，因此图像-文本投射网络的设计并不需要过于复杂。

PreFLMR让RAG更加有效：在知识密集型视觉问答任务上，使用PreFLMR进行检索增强大大提高了最终系统的表现：在Infoseek和EVQA上分别达到了94%和275%的效果提升，经过简单的微调，基于BLIP-2的模型能够击败千亿参数量的PALI-X模型和使用Google API进行增强的PaLM-Bison+Lens系统。

结论

剑桥人工智能实验室提出的PreFLMR模型是第一个开源的通用后期交互多模态检索模型。经过在M2KR上的百万级数据预训练，PreFLMR在多项检索子任务中展现出强劲的表现。M2KR数据集，PreFLMR模型权重和代码均可以在项目主页 https://preflmr.github.io/ 获取。

拓展资源

FLMR paper (NeurIPS 2023):

https://proceedings.neurips.cc/paper_files/paper/2023/hash/47393e8594c82ce8fd83adc672cf9872-Abstract-Conference.html

代码库： 

https://github.com/LinWeizheDragon/Retrieval-Augmented-Visual-Question-Answering

英文版博客： 

https://www.jinghong-chen.net/preflmr-sota-open-sourced-multi/

FLMR简介： 

https://www.jinghong-chen.net/fined-grained-late-interaction-multimodal-retrieval-flmr/

何恺明在MIT授课的课件PPT下载

在CVer公众号后台回复：何恺明，即可下载本课程的所有566页课件PPT！赶紧学起来！

ECCV 2024 论文和代码下载

在CVer公众号后台回复：ECCV2024，即可下载ECCV 2024论文和代码开源的论文合集

CVPR 2024 论文和代码下载

在CVer公众号后台回复：CVPR2024，即可下载CVPR 2024论文和代码开源的论文合集

Mamba、多模态和扩散模型交流群成立

扫描下方二维码，或者添加微信号：CVer111，即可添加CVer小助手微信，便可申请加入CVer-Mamba、多模态学习或者扩散模型微信交流群。另外其他垂直方向已涵盖：目标检测、图像分割、目标跟踪、人脸检测&识别、OCR、姿态估计、超分辨率、SLAM、医疗影像、Re-ID、GAN、NAS、深度估计、自动驾驶、强化学习、车道线检测、模型剪枝&压缩、去噪、去雾、去雨、风格迁移、遥感图像、行为识别、视频理解、图像融合、图像检索、论文投稿&交流、PyTorch、TensorFlow和Transformer、NeRF、3DGS、Mamba等。
一定要备注：研究方向+地点+学校/公司+昵称（如Mamba、多模态学习或者扩散模型+上海+上交+卡卡），根据格式备注，可更快被通过且邀请进群

▲扫码或加微信号: CVer111，进交流群
CVer计算机视觉（知识星球）来了！想要了解最新最快最好的CV/DL/AI论文速递、优质实战项目、AI行业前沿、从入门到精通学习教程等资料，欢迎扫描下方二维码，加入CVer计算机视觉（知识星球），已汇集上万人！

▲扫码加入星球学习

▲点击上方卡片，关注CVer公众号
整理不易，请赞和在看