文章目录~
- 1.CEAR: Automatic construction of a knowledge graph of chemical entities and roles from scientific literature
- 2.TransferTOD: A Generalizable Chinese Multi-Domain Task-Oriented Dialogue System with Transfer Capabilities
- 3.Towards Achieving Human Parity on End-to-end Simultaneous Speech Translation via LLM Agent
- 4.Cost-Effective Hallucination Detection for LLMs
- 5.Performance of Recent Large Language Models for a Low-Resourced Language
- 6.From Feature Importance to Natural Language Explanations Using LLMs with RAG
- 7.Automated Review Generation Method Based on Large Language Models
- 8.QAEA-DR: A Unified Text Augmentation Framework for Dense Retrieval
- 9.rLLM: Relational Table Learning with LLMs
- 10.Cool-Fusion: Fuse Large Language Models without Training
- 11.Meta-Rewarding Language Models: Self-Improving Alignment with LLM-as-a-Meta-Judge
- 12.Semantic Communication Enhanced by Knowledge Graph Representation Learning
- 13.The Impact of LoRA Adapters for LLMs on Clinical NLP Classification Under Data Limitations
- 14.Large Language Models for Human-like Autonomous Driving: A Survey
- 15.On Behalf of the Stakeholders: Trends in NLP Model Interpretability in the Era of LLMs
- 16.Modular RAG: Transforming RAG Systems into LEGO-like Reconfigurable Frameworks
- 17.Exploring Scaling Trends in LLM Robustness
- 18.The Geometry of Queries: Query-Based Innovations in Retrieval-Augmented Generation
1.CEAR: Automatic construction of a knowledge graph of chemical entities and roles from scientific literature
标题:CEAR:从科学文献中自动构建化学实体和作用知识图谱
author:Stefan Langer, Fabian Neuhaus, Andreas Nürnberger
date Time:2024-07-31
paper pdf:http://arxiv.org/pdf/2407.21708v1
摘要:
本体是特定领域知识的正式表述,为组织和理解复杂信息提供了结构化框架。然而,创建本体是一项复杂而耗时的工作。ChEBI 是化学领域著名的本体论,为定义化学实体及其属性提供了全面的资源。然而,它只涵盖了快速增长的化学知识中的一小部分,而且不提供科学文献参考。为了解决这个问题,我们提出了一种方法,即利用来自 Chebi 的知识来扩充现有的注释文本语料库,并微调大型语言模型 (LLM),以识别科学文本中的化学实体及其作用。我们的实验证明了我们方法的有效性。通过结合本体知识和 LLM 的语言理解能力,我们在识别科学文献中的化学实体及其作用方面取得了很高的精确率和召回率。此外,我们还从一组 8000 篇 ChemRxiv 文章中提取了化学实体和角色,并应用第二个 LLM 创建了化学实体和角色知识图谱(KG),为 ChEBI 提供了补充信息,并有助于扩展 ChEBI。
2.TransferTOD: A Generalizable Chinese Multi-Domain Task-Oriented Dialogue System with Transfer Capabilities
标题:TransferTOD:具有转移功能的通用中文多领域任务导向对话系统
author:Ming Zhang, Caishuang Huang, Yilong Wu, Shichun Liu, Huiyuan Zheng, Yurui Dong, Yujiong Shen, Shihan Dou, Jun Zhao, Junjie Ye, Qi Zhang, Tao Gui, Xuanjing Huang
date Time:2024-07-31
paper pdf:http://arxiv.org/pdf/2407.21693v1
摘要:
面向任务的对话(TOD)系统旨在有效处理面向任务的对话,包括信息收集。如何准确、高效、有效地利用 TOD 收集信息一直是一项关键而又具有挑战性的任务。最近的研究表明,大型语言模型(LLM)在对话、指令生成和推理方面表现出色,可以通过微调显著提高 TOD 的性能。然而,目前的数据集主要针对用户主导型系统,且仅限于预定义的特定场景和时段,因此有必要改进 TOD 的主动性、多样性和能力。在本研究中,我们提出了一个详细的面向多领域任务的对话数据构建流程,以及基于该流程生成的中文对话数据集\textbf{TransferTOD},该数据集真实地模拟了30个热门生活服务场景中的人机对话。利用该数据集,我们使用全参数微调训练了一个 \textbf{TransferTOD-7B} 模型,该模型在填槽和提问方面表现出了显著的能力。我们的工作在各种下游场景中展示了其强大的泛化能力,显著提高了数据利用效率和系统性能。数据发布于 https://github.com/KongLongGeFDU/TransferTOD。
3.Towards Achieving Human Parity on End-to-end Simultaneous Speech Translation via LLM Agent
标题:通过 LLM Agent 实现端到端同声语音翻译的人机平等
author:Shanbo Cheng, Zhichao Huang, Tom Ko, Hang Li, Ningxin Peng, Lu Xu, Qini Zhang
publish:Authors are listed in alphabetical order by last name. Demonstrations
and human-annotated test sets are available at
https://byteresearchcla.github.io/clasi
date Time:2024-07-31
paper pdf:http://arxiv.org/pdf/2407.21646v1
摘要:
在本文中,我们介绍了跨语言代理–同声传译(Cross Language Agent - Simultaneous Interpretation,CLASI)–一种高质量的类人同声传译(Simultaneous Speech Translation,SiST)系统。受专业人类口译员的启发,我们利用一种新颖的数据驱动读写策略来平衡翻译质量和延迟。为了应对翻译领域内术语的挑战,CLASI 采用了多模态检索模块来获取相关信息,以增强翻译效果。在 LLM 的支持下,我们的方法可以通过考虑输入音频、历史语境和检索信息生成容错翻译。实验结果表明,我们的系统明显优于其他系统。与专业人工口译员一致,我们使用更好的人工评估指标–有效信息比例(VIP)来评估 CLASI,该指标用于衡量能够成功传达给听众的信息量。在现实世界的场景中,演讲通常是不流畅、非正式和不清晰的,CLASI 在中译英和英译中翻译方向上的 VIP 分别达到了 81.3% 和 78.0%。相比之下,最先进的商业或开源系统只能达到 35.4% 和 41.6%。在难度极高的数据集上,其他系统的 VIP 值低于 13%,而 CLASI 仍能达到 70% 的 VIP 值。
4.Cost-Effective Hallucination Detection for LLMs
标题:低成本高效率的 LLM 幻觉检测
author:Simon Valentin, Jinmiao Fu, Gianluca Detommaso, Shaoyuan Xu, Giovanni Zappella, Bryan Wang
date Time:2024-07-31
paper pdf:http://arxiv.org/pdf/2407.21424v1
摘要:
大型语言模型(LLM)很容易产生幻觉–生成不可靠的输出,这些输出与其输入、外部事实或内部不一致不符。在这项工作中,我们解决了在生产环境中进行事后幻觉检测的几个难题。我们的幻觉检测流程包括:首先,生成一个置信度分数,代表生成的答案是幻觉的可能性;其次,根据输入和候选回答的属性校准分数;最后,通过校准分数的阈值进行检测。我们在不同的数据集上对各种最先进的评分方法进行了基准测试,包括问题解答、事实核查和摘要任务。我们采用了多种 LLM,以确保对性能进行全面评估。我们表明,校准单个评分方法对于确保下游决策具有风险意识至关重要。基于没有一种评分方法能在所有情况下都表现最佳的结论,我们提出了一种多重评分框架,该框架结合了不同的评分方法,能在所有数据集上实现最佳性能。我们还进一步引入了具有成本效益的多重计分方法,它可以与更昂贵的检测方法相媲美,甚至更胜一筹,同时还能显著降低计算开销。
5.Performance of Recent Large Language Models for a Low-Resourced Language
标题:近期大型语言模型在低资源语言中的表现
author:Ravindu Jayakody, Gihan Dias
date Time:2024-07-31
paper pdf:http://arxiv.org/pdf/2407.21330v1
摘要:
大型语言模型(LLM)在过去一年中取得了重大进展。除了 GPT 和 Llama 的新版本外,最近还推出了其他几个 LLM。其中一些是开放式模型,可供下载和修改。 虽然多语言大型语言模型已经问世了一段时间,但它们在僧伽罗语等低资源语言上的表现一直不佳。我们对最近推出的四种大型语言模型进行了评估,包括它们在僧伽罗语中的直接表现,以及与英语的互译。我们还利用少量微调数据对它们的微调能力进行了评估。Claude 和 GPT 4o 的开箱即用性能良好,明显优于之前的版本。Llama 和 Mistral 的表现较差,但在微调后显示出一定的改进前景。
6.From Feature Importance to Natural Language Explanations Using LLMs with RAG
标题:通过 RAG 使用 LLMs 从特征重要性到自然语言解释
author:Sule Tekkesinoglu, Lars Kunze
date Time:2024-07-30
paper pdf:http://arxiv.org/pdf/2407.20990v1
摘要:
随着机器学习在涉及人机交互的自主决策过程中变得越来越不可或缺,通过对话方式理解模型输出结果的必要性也随之增加。最近,人们正在探索基础模型作为事后解释者的潜力,为阐明预测模型的决策机制提供了一条途径。在这项工作中,我们引入了可追踪的问题解答,利用外部知识库为大语言模型(LLM)在场景理解任务中对用户询问的回答提供信息。该知识库包括与模型输出有关的上下文细节,其中包含高级特征、特征重要性和替代概率。我们采用减法反事实推理来计算特征重要性,这种方法需要分析分解语义特征后产生的输出变化。此外,为了保持无缝会话流程,我们将社会科学研究中关于人类解释的四个关键特征–社会性、因果性、选择性和对比性–整合到一个一次性提示中,以指导回复生成过程。我们的评估表明,由 LLM 生成的解释包含了这些要素,这表明它具有缩小复杂模型输出与自然语言表达之间差距的潜力。
7.Automated Review Generation Method Based on Large Language Models
标题:基于大型语言模型的自动评论生成方法
author:Shican Wu, Xiao Ma, Dehui Luo, Lulu Li, Xiangcheng Shi, Xin Chang, Xiaoyun Lin, Ran Luo, Chunlei Pei, Zhi-Jian Zhao, Jinlong Gong
publish:16 pages, 3 figures, 3 tables
date Time:2024-07-30
paper pdf:http://arxiv.org/pdf/2407.20906v1
摘要:
文献研究对科学进步至关重要,但面对浩如烟海的可用信息,文献研究显得力不从心。针对这一问题,我们提出了一种基于大型语言模型(LLM)的自动综述生成方法,以简化文献处理并减轻认知负荷。在丙烷脱氢(PDH)催化剂的案例研究中,我们的方法从 343 篇文章中迅速生成了综合评论,每个 LLM 账户平均每篇文章只需几秒钟。通过对 1041 篇文章的扩展分析,我们深入了解了催化剂的组成、结构和性能。认识到 LLM 的幻觉,我们采用了多层质量控制策略,确保我们的方法可靠并有效减少幻觉。专家验证确认了所生成评论的准确性和引文的完整性,表明 LLM 的幻觉风险降低到 0.5% 以下,置信度超过 95%。发布的 Windows 应用程序可一键生成评论,帮助研究人员跟踪进展和推荐文献。这种方法展示了 LLM 在提高科研生产力方面的作用,并为进一步探索奠定了基础。
8.QAEA-DR: A Unified Text Augmentation Framework for Dense Retrieval
标题:QAEA-DR:用于高密度检索的统一文本增强框架
author:Hongming Tan, Shaoxiong Zhan, Hai Lin, Hai-Tao Zheng, Wai Kin, Chan
date Time:2024-07-29
paper pdf:http://arxiv.org/pdf/2407.20207v1
摘要:
在密集检索中,将长文本嵌入密集向量会导致信息丢失,从而导致查询-文本匹配不准确。此外,噪音过大或关键信息稀少的低质量文本也不可能与相关查询很好地匹配。最近的研究主要集中在改进句子嵌入模型或检索过程。在这项工作中,我们为密集检索引入了一个新颖的文本增强框架。该框架将原始文档转化为信息密集的文本格式,对原始文本进行补充,从而在不修改嵌入或检索方法的情况下有效解决上述问题。通过大语言模型(LLMs)零镜头提示生成两种文本表征:问答对和元素驱动事件。我们将这种方法称为 QAEA-DR:将问题-答案生成和事件提取统一到用于密集检索的文本增强框架中。为了进一步提高生成文本的质量,我们在 LLM 提示中引入了基于评分的评估和再生机制。我们的 QAEA-DR 模型对高密度检索产生了积极影响,这一点得到了理论分析和实证实验的支持。
9.rLLM: Relational Table Learning with LLMs
标题:rLLM:利用 LLM 进行关系表学习
author:Weichen Li, Xiaotong Huang, Jianwu Zheng, Zheng Wang, Chaokun Wang, Li Pan, Jianhua Li
date Time:2024-07-29
paper pdf:http://arxiv.org/pdf/2407.20157v1
摘要:
我们介绍的 rLLM(relationshipLLM)是一个 PyTorch 库,专为使用大型语言模型(LLM)的关系表学习(RTL)而设计。其核心理念是将最先进的图神经网络、LLM 和表神经网络分解为标准化模块,从而能够以简单的 "组合、对齐和协同训练 "方式快速构建新颖的 RTL 类型模型。为了说明 rLLM 的用法,我们介绍了一种名为 \textbf{BRIDGE} 的简单 RTL 方法。此外,我们还通过增强经典数据集,介绍了三个新型关系表数据集(TML1M、TLF2K 和 TACM12K)。我们希望 rLLM 能成为 RTL 相关任务的有用且易用的开发框架。我们的代码可在以下网址获取:https://github.com/rllm-project/rllm。
10.Cool-Fusion: Fuse Large Language Models without Training
标题:酷融合:无需训练即可融合大型语言模型
author:Cong Liu, Xiaojun Quan, Yan Pan, Liang Lin, Weigang Wu, Xu Chen
date Time:2024-07-29
paper pdf:http://arxiv.org/pdf/2407.19807v1
摘要:
我们关注的问题是如何融合两个或多个异构大型语言模型(LLM),以促进其优势互补。模型融合面临的挑战之一是高计算负荷,即通过组合优化对词汇表进行微调或对齐。为此,我们提出了一种简单而有效的方法–“酷融合”(\emph{Cool-Fusion}),它可以融合异构源 LLMs 的知识,从而利用它们的互补优势。\emph{Cool-Fusion} 是第一种不需要像集合方法那样进行任何类型训练的方法。但与集合方法不同的是,它适用于任何一组具有不同词汇表的源 LLM。其基本思想是让每个源 LLM 单独生成标记,直到这些标记能被解码成一个文本片段,该文本片段以所有源 LLM 共同的单词边界为终点。然后,源 LLM 联合对生成的文本段进行重新排序,选出最佳文本段,即一步生成融合文本。我们在各种基准数据集上进行了广泛的实验。在 \emph{GSM8K}上,\emph{Cool-Fusion}将三个强源 LLM 的准确率大幅提高了 8%-17.8% 。
11.Meta-Rewarding Language Models: Self-Improving Alignment with LLM-as-a-Meta-Judge
标题:元奖励语言模型:使用 LLM 即元法官进行自我改进对齐
author:Tianhao Wu, Weizhe Yuan, Olga Golovneva, Jing Xu, Yuandong Tian, Jiantao Jiao, Jason Weston, Sainbayar Sukhbaatar
date Time:2024-07-28
paper pdf:http://arxiv.org/pdf/2407.19594v2
摘要:
在许多领域,大型语言模型(LLMs)正在迅速超越人类知识。虽然改进这些模型传统上依赖于成本高昂的人类数据,但最近的自我奖励机制(Yuan 等人,2024 年)表明,LLM 可以通过判断自己的反应而不是依赖于人类标注者来改进。然而,现有的方法主要侧重于提高模型的反应能力,而不是判断能力,从而导致在迭代训练过程中迅速饱和。为了解决这个问题,我们在自我改进过程中引入了一个新颖的元奖励步骤,即模型判断自己的判断,并利用反馈来完善自己的判断技能。出乎意料的是,这种无监督的方法提高了模型的判断能力({em and} follow instructions),Llama-3-8B-Instruct在AlpacaEval 2中的胜率从22.9%提高到39.4%,在Arena-Hard中的胜率从20.6%提高到29.1%。这些结果有力地证明了在没有人类监督的情况下自我改进模型的潜力。
12.Semantic Communication Enhanced by Knowledge Graph Representation Learning
标题:通过知识图谱表示学习加强语义交流
author:Nour Hello, Paolo Di Lorenzo, Emilio Calvanese Strinati
publish:Accepted for publication at the 25th IEEE International Workshop on
Signal Processing Advances in Wireless Communications (SPAWC)
date Time:2024-07-27
paper pdf:http://arxiv.org/pdf/2407.19338v1
摘要:
本文研究了在新兴的语义通信范式中将语义知识提取到图中进行表示和处理的优势。所提出的方法利用了语义和实用性方面的优势,结合了大型语言模型(LLM)的最新进展,实现了知识的紧凑表示,以便在智能代理之间进行处理和交换。这是通过使用 LLM 和图神经网络(GNN)的级联作为语义编码器来实现的。拟议的语义编码器产生的嵌入向量以三联体的形式表示信息:节点(语义概念实体)、边(概念之间的关系)、节点。因此,语义信息与语义概念抽象空间中元素间关系的表示相关联。在本文中,我们研究了通过在图嵌入中加入连接元素的关系来实现高通信压缩率的可能性。我们建议通过无线信道发送完全等同于节点嵌入的语义符号,并在接收端推断完整的知识图谱。数值模拟说明了利用知识图谱从语义上压缩和传输信息的有效性。
13.The Impact of LoRA Adapters for LLMs on Clinical NLP Classification Under Data Limitations
标题:在数据限制条件下,LLM 的 LoRA 适配器对临床 NLP 分类的影响
author:Thanh-Dung Le, Ti Ti Nguyen, Vu Nguyen Ha
publish:Under revisions
date Time:2024-07-27
paper pdf:http://arxiv.org/pdf/2407.19299v1
摘要:
由于领域差距和数据可用性有限,为临床自然语言处理(NLP)微调大型语言模型(LLM)带来了巨大挑战。本研究调查了在资源有限的医院环境中,各种适配器技术(相当于低优自适应性(Low-Rank Adaptation,LoRA))对微调 LLM 的有效性。我们试验了四种结构–适配器、轻量级、TinyAttention 和门控残差网络(GRN)–作为临床笔记分类的最终层。我们微调了生物医学预训练模型,包括 CamemBERT-bio、AliBERT 和 DrBERT,以及两个基于 Transformer 的模型。我们的大量实验结果表明:i) 采用适配器结构并不能显著改善生物医学预训练 LLM 的微调效果;ii) 在资源限制条件下,从头开始训练的基于 Transformer 的简单模型表现更好。在各种适配器结构中,GRN 在准确度、精确度、召回率和 F1 分数(0.88)方面都表现出色。此外,LLMs 的总训练时间超过了 1000 小时,而基于变压器的简单模型的训练时间不到 6 小时,这表明 LLMs 更适用于拥有大量计算资源和较大数据集的环境。因此,本研究表明,基于变压器的简单模型可以有效地从头开始训练,为数据有限的低资源环境中的临床 NLP 任务提供了可行的解决方案。通过确定 GRN 为最有效的适配器结构,我们提供了一种无需大量计算资源即可增强临床笔记分类的实用方法。
14.Large Language Models for Human-like Autonomous Driving: A Survey
标题:用于类人自动驾驶的大型语言模型:调查
author:Yun Li, Kai Katsumata, Ehsan Javanmardi, Manabu Tsukada
publish:8 pages, 2 figures, accepted at IEEE Intelligent Transportation
Systems Conference (ITSC) 2024
date Time:2024-07-27
paper pdf:http://arxiv.org/pdf/2407.19280v1
摘要:
大型语言模型(LLMs)是在海量文本语料库中训练出来的人工智能模型,具有卓越的语言理解和生成能力,正在改变自动驾驶(AD)领域。随着自动驾驶系统从基于规则和优化的方法发展到基于学习的技术(如深度强化学习),它们现在正准备迎接第三类更先进的技术:由 LLMs 赋能的基于知识的自动驾驶。这一转变有望使自动驾驶更接近于类人自动驾驶。然而,将 LLMs 集成到自动驾驶系统中会在实时推理、安全保证和部署成本方面带来挑战。本调查对最近在利用 LLMs 进行 AD 方面取得的进展进行了全面而严谨的回顾,重点关注它们在模块化 AD 管道和端到端 AD 系统中的应用。我们强调了主要的进展,指出了紧迫的挑战,并提出了有前途的研究方向,以弥合 LLM 与 AD 之间的差距,从而促进开发更像人类的 AD 系统。调查报告首先介绍了 LLMs 的主要特点和常见训练方案,然后分别深入分析了它们在模块化 AD 管道和端到端 AD 中的应用,最后讨论了公开挑战和未来方向。通过这些深入分析,我们希望为从事人工智能与自动驾驶汽车交叉领域工作的研究人员和从业人员提供见解和启发,最终为更安全、更智能、更以人为本的自动驾驶技术做出贡献。
15.On Behalf of the Stakeholders: Trends in NLP Model Interpretability in the Era of LLMs
标题:代表利益相关者:LLM 时代的 NLP 模型可解释性趋势
author:Nitay Calderon, Roi Reichart
date Time:2024-07-27
paper pdf:http://arxiv.org/pdf/2407.19200v1
摘要:
近来,NLP 系统取得了长足进步,特别是随着 LLM 的引入,这些系统被各个领域的广大用户广泛采用,对决策、就业市场、社会和科学研究产生了影响。使用量的激增导致了 NLP 模型可解释性和分析研究的爆炸式增长,并伴随着大量的技术调查。然而,这些调查往往忽略了解释利益相关者的需求和观点。在本文中,我们将探讨三个基本问题:我们为什么需要可解释性,我们在解释什么,以及如何解释?通过探讨这些问题,我们研究了现有的可解释性范式、它们的特性以及它们与不同利益相关者的相关性。通过分析过去十年多个研究领域的发展趋势,我们进一步探讨了这些范式的实际意义。为此,我们检索了数以千计的论文,并使用 LLM 对其进行了特征描述。我们的分析揭示了 NLP 开发者与非开发者用户之间以及不同研究领域之间的巨大差异,突出了利益相关者的不同需求。例如,对内部模型组件的解释很少在 NLP 领域之外使用。我们希望本文能为今后设计、开发和应用符合不同利益相关者目标和要求的方法提供参考。
16.Modular RAG: Transforming RAG Systems into LEGO-like Reconfigurable Frameworks
标题:模块化 RAG:将 RAG 系统转化为类似乐高积木的可重构框架
author:Yunfan Gao, Yun Xiong, Meng Wang, Haofen Wang
date Time:2024-07-26
paper pdf:http://arxiv.org/pdf/2407.21059v1
摘要:
检索增强生成(RAG)显著增强了大型语言模型(LLM)处理知识密集型任务的能力。应用场景日益增长的需求推动了 RAG 的发展,导致高级检索器、大型语言模型和其他互补技术的集成,反过来又扩大了 RAG 系统的复杂性。然而,快速的进步正在超越基本的 RAG 范式,许多方法在 "先检索后生成 "的过程中难以统一。在此背景下,本文探讨了现有 RAG 范式的局限性,并介绍了模块化 RAG 框架。通过将复杂的 RAG 系统分解为独立的模块和专门的运算符,它为高度可重构的框架提供了便利。模块化 RAG 超越了传统的线性架构,采用了集成路由、调度和融合机制的更先进设计。本文在广泛研究的基础上,进一步确定了流行的 RAG 模式–线性、条件、分支和循环,并全面分析了它们各自在实现上的细微差别。模块化 RAG 为 RAG 系统的概念化和部署提供了创新机会。最后,本文探讨了新运算符和新范式的潜在出现,为 RAG 技术的持续发展和实际部署奠定了坚实的理论基础和实践路线图。
17.Exploring Scaling Trends in LLM Robustness
标题:探索 LLM 鲁棒性的扩展趋势
author:Nikolaus Howe, Michał Zajac, Ian McKenzie, Oskar Hollinsworth, Tom Tseng, Pierre-Luc Bacon, Adam Gleave
publish:31 pages; edit fixed metadata typo (author name)
date Time:2024-07-25
paper pdf:http://arxiv.org/pdf/2407.18213v2
摘要:
可以预见,语言模型的能力会随着模型规模和训练数据的增加而提高。在此激励下,越来越多的大型语言模型得到了训练,产生了一系列令人印象深刻的能力。然而,这些模型很容易受到对抗性提示的影响,例如 “越狱”,它会劫持模型来执行不想要的行为,从而带来巨大的滥用风险。先前的研究表明,计算机视觉模型会随着模型和数据规模的扩大而变得更加稳健,这就提出了一个问题:语言模型的稳健性是否也会随着规模的扩大而提高?我们对这一问题进行了实证研究,发现大型模型对对抗性训练的反应要好得多,但在没有明确防御措施的情况下,模型规模几乎没有任何好处。
18.The Geometry of Queries: Query-Based Innovations in Retrieval-Augmented Generation
标题:查询的几何:检索增强生成中基于查询的创新
author:Eric Yang, Jonathan Amar, Jong Ha Lee, Bhawesh Kumar, Yugang Jia
publish:22 pages
date Time:2024-07-25
paper pdf:http://arxiv.org/pdf/2407.18044v1
摘要:
由大型语言模型(LLMs)驱动的数字健康聊天机器人通过提供方便、按需的健康指导和问题解答,有可能显著改善慢性病患者的个人健康管理。然而,这些聊天机器人有可能提供未经验证和不准确的信息,因为大型语言模型是根据从各种互联网数据中学习到的模式生成回复的。检索增强生成(RAG)可以将 LLM 的回复建立在可靠内容的基础上,从而帮助减少幻觉和不准确性。然而,为用户的实时问题高效、准确地检索最相关的内容集仍然是一项挑战。在这项工作中,我们引入了基于查询的检索增强生成(QB-RAG),这是一种新颖的方法,它使用 LLM 从内容库中预先计算出潜在的查询数据库。对于病人提出的问题,QB-RAG 使用向量搜索将其与预先生成的查询数据库进行有效匹配,从而提高用户问题与内容之间的一致性。我们为 QB-RAG 奠定了理论基础,并对 RAG 系统的现有检索增强技术进行了比较分析。最后,我们的经验评估表明,QB-RAG 显著提高了医疗保健问题解答的准确性,为数字医疗领域稳健、可信的 LLM 应用铺平了道路。