MRAG：传统RAG方法在多文档检索上的扩展与改进

大模型(LLM)是一种人工智能模型，旨在理解和生成人类语言。它们在大量的文本数据上进行训练，可以执行广泛的任务，包括文本总结、翻译、情感分析等等。LLM的特点是规模庞大，包含数十亿的参数，帮助它们学习语言数据中的复杂模式。这些模型通常基于深度学习架构，如转化器，这有助于它们在各种NLP任务上取得令人印象深刻的表现。

2022年底，OpenAI 推出的基于 GPT-3.5 的大型语言模型 ChatGPT，由于其优秀的表现，ChatGPT 及其背后的大型语言模型迅速成为人工智能领域的热门话题，吸引了广大科研人员和开发者的关注和参与。

本周精选了5篇LLM领域的优秀论文，为了方便大家阅读，只列出了论文标题、AMiner AI综述等信息，如果感兴趣可点击查看原文，PC端数据同步（收藏即可在PC端查看），每日新论文也可登录小程序查看。

如果想要对某篇论文进行深入对话，可以直接复制论文链接到浏览器上或者直达AMiner AI页面：
https://www.aminer.cn/chat/g/explain?f=cs

1.Towards a Personal Health Large Language Model

本文介绍了一种面向个人健康的大语言模型(PH-LLM)，该模型是从Gemini模型中微调而来，主要用于理解和推理数值时间序列的个人健康数据。为了评估模型的性能，研究者创建了三个人工数据集，分别测试了模型在睡眠模式、身体活动、生理反应方面的个性化洞察和建议生成能力，专业知识以及预测自我报告睡眠结果的能力。通过与领域专家合作设计案例研究，评估了模型在现实世界中的表现。评估结果显示，Gemini Ultra 1.0和PH-LLM在健身方面的表现与专家没有统计学差异，而在睡眠方面，专家仍然优于模型，但微调PH-LLM在利用相关领域知识和个性化信息生成睡眠洞察方面取得了显著改进。通过多选题形式评估模型的专业知识，PH-LLM在健身方面的表现超越了一组人类专家的平均水平。最后，研究者训练PH-LLM从可穿戴数据的文本和多模态编码表示中预测自我报告的睡眠质量结果，并表明多模态编码是匹配专业化判别模型性能所必需的。虽然PH-LLM在个人健康领域还有待进一步开发和评估，但研究结果表明Gemini模型具有广泛的知识和能力，并且通过PH-LLM对生理数据进行情境化处理，对于个人健康应用是有益的。

链接：https://www.aminer.cn/pub/6667b90401d2a3fbfc3d6bbe/?f=cs

2.Tx-LLM: A Large Language Model for Therapeutics

本文介绍了一种名为Tx-LLM的大型语言模型，旨在加速治疗药物的开发。目前，大多数人工智能方法只关注一组狭窄的任务，通常局限于特定领域。为了填补这一空白，研究者们推出了Tx-LLM模型，这是一个通用的大型语言模型，从PaLM-2模型微调而来，包含了关于多种治疗方式的知识。Tx-LLM通过709个数据集进行训练，这些数据集涵盖了药物发现管道中66个不同任务。Tx-LLM能够使用一套权重同时处理各种化学或生物实体（小分子、蛋白质、核酸、细胞系、疾病）以及自由文本，使其能够预测广泛的关联属性，并在43个任务上达到与现有最佳性能相当的水平的，在22个任务上超过现有最佳性能。特别是在结合分子SMILES表示和文本的任务上，如细胞系名称或疾病名称，Tx-LLM表现出了强大的性能，平均性能超过了最佳同类。研究者们观察到不同药物类型任务之间存在积极的转移，并研究了模型大小、领域微调和提示策略对性能的影响。他们认为Tx-LLM是朝着编码生物化学知识的LLM迈出的重要一步，未来可能在药物发现开发管道的端到端工具中发挥角色。

链接：https://www.aminer.cn/pub/6667b02401d2a3fbfc2e3b16/?f=cs

3.ShiftAddLLM: Accelerating Pretrained LLMs via Post-Training Multiplication-Less Reparameterization

这篇论文介绍了一种新方法来加速大规模语言模型（LLM）的部署，这些模型在处理语言任务时表现出色，但在资源受限设备上部署时面临挑战。主要问题在于这些模型参数众多，且依赖于密集的乘法运算，这导致了高内存需求和延迟瓶颈。论文提出的方法是利用移位加法重参数化，用硬件友好的操作替代昂贵的乘法运算，这在注意力层和多层感知机（MLP）层都是可行的。但传统的重参数化技术需要从头开始训练或进行全面的参数微调，这对LLM来说资源消耗过大。为了解决这一问题，论文提出了一种在预训练后进行重参数化的方法，创建了高效的乘法自由模型，称为ShiftAddLLM。具体来说，我们将每个权重矩阵量化为与分组缩放因子配对的二进制矩阵。相关的乘法被重参数化为（1）激活与缩放因子之间的移位以及（2）根据二进制矩阵的查询和加法。为了减少精度损失，论文提出了一种多目标优化方法，旨在同时最小化权重和输出激活的重参数化误差。基于不同层对重参数化的敏感性不同，研究还开发了一种自动位分配策略，以进一步减少内存使用和延迟。在五个LLM系列和八个任务上的实验结果一致地验证了ShiftAddLLM的有效性，与最竞争性的量化LLM相比，在3位和2位精度下，ShiftAddLLM分别平均提高了5.6和22.7点的困惑度，且延迟更低，相比原始LLM，性能提高了超过80%。

链接：https://www.aminer.cn/pub/6667b02401d2a3fbfc2e399c/?f=cs

4.Teams of LLM Agents can Exploit Zero-Day Vulnerabilities

这篇论文探讨了大型语言模型（LLM）代理在网络安全领域的高度发展。尽管已有研究表明，这些代理可以在已知漏洞和玩具抓取旗帜（capture-the-flag）问题的环境下利用实际漏洞，但它们在事先未知的零日漏洞方面表现不佳。本文展示了当这些LLM代理组成团队时，可以利用现实世界的零日漏洞。这些团队通过引入一个具有规划能力的代理，能够探索系统并决定调用哪些子代理，解决了单独使用这些代理时在探索多个不同漏洞和长期规划方面的问题。研究构建了一个包含15个现实世界漏洞的基准测试，并表明其团队代理在利用漏洞方面比以前的工作提高了高达4.5倍。

链接：https://www.aminer.cn/pub/665fc71c01d2a3fbfc4cc6f5/?f=cs

5.Multi-Head RAG: Solving Multi-Aspect Problems with LLMs

这篇论文介绍了一种新的解决方案——多头检索增强生成（MRAG），以应对需要同时检索多个内容上差异较大的文档的多方面问题。传统的RAG方法主要关注于单个文档的检索，而对于需要同时获取多个文档的情况，由于这些文档在嵌入空间中的距离可能很远，因此难以全部检索到。MRAG通过利用Transformer的多头注意力层的激活作为检索多方面文档的键，而不是解码层，来解决这个问题。因为不同的注意力头可以学习捕捉不同的数据方面，利用相应的激活可以得到代表数据项和查询各个方面的新嵌入，从而提高复杂查询的检索准确性。论文提供了评估方法、指标、合成数据集和现实世界用例来证明MRAG的有效性，结果显示，在标准RAG基线上的相关性改进最高可达20%。MRAG可以与现有的RAG框架和基准工具（如RAGAS）以及不同类别的数据存储无缝集成。

链接：https://www.aminer.cn/pub/66665dee01d2a3fbfc326487/?f=cs

---

AMiner AI入口：
https://www.aminer.cn/chat/g/explain?f=cs