RAG和Agent
文章平均质量分 97
大模型之RAG和Agent
山顶夕景
实践出真知
展开
-
【LLM】Agent在智能客服的实践(AI agent、记忆、快捷回复 | ReAct)
# note 内容概况:结合京粉app学习agent的实践- Agent架构:通过模型训练提升LLM识别工具的准确性;设计可扩展并安全可控的agent架构扩展业务能力。- 记忆:多轮对话应用中如何组织、存储和检索记忆来提升大模型对用户的理解。- 快捷回复:利用快捷回复做用户意图的路径规划,实现业务目标。未来展望:- 1、垂类领域用户意图的理解:结合垂类业务的特点,通过自然语言沟通交流的方式,更加精准更快速的识别用户的意图,模型上需要大量的真实可靠的业务数据来进行训练,机制上需要对Agent进行原创 2024-10-04 23:58:34 · 1141 阅读 · 0 评论 -
【LLM-agent】function call功能、AgentTuning微调
function call本质:准确识别用户的语义,将其转为结构化的指令,其中通过LLM理解指令和上下文判断需要调用哪个函数、抽取出input中函数所需的参数。是用户和界面交互方式产生质变的一个trick。所以为了提高模型准确识别和调用函数的能力,如agenttuning就是利用多个agent任务交互轨迹,对LLM进行sft微调.gpt中的function call可以让开发者在调用 GPT-4 和 GPT-3.5-turbo 模型时,描述函数并让模型智能地输出一个包含调用这些函数所需参数的 JSON原创 2024-01-21 14:46:16 · 4826 阅读 · 4 评论 -
【LLM】基于LLM的agent应用(上)
ote在未来,Agent 还会具备更多的可扩展的空间。就 Observation 而言,Agent 可以从通过文本输入来观察来理解世界到听觉和视觉的集成;就 Action 而言,Agent 在具身智能的应用场景下,对各种器械进行驱动和操作。Agent 是以核心智能模型来驱动的,一个可以具备能力从思考开始,最终做到完整输出的智能性结构。Agent 的发展很符合第一性原理,从最先的 Prompt,后面有人在写完的 Prompt 后面加通用的规划器。文章目录note零、相关概念介绍一、人类与AI协原创 2023-11-19 02:01:53 · 2292 阅读 · 0 评论 -
【LLM】大模型幻觉问题的原因和缓解方法
一、幻觉定义备注(下面提及的两个名词):Faithfulness:是否遵循input content;Factualness:是否符合世界知识;传统nlp任务重,幻觉大多数是faithfulness,比如Intrinsic Hallucination(冲突),摘要内容和document内容有冲突;再比如Extrinsic Hallucination(无中生有),生成内容中包含input要求的其他杂七杂八虚假信息;但LLM应该考虑的幻觉Factualness,因为数据源是Open-doman的世界知原创 2023-10-03 15:42:26 · 4775 阅读 · 3 评论 -
【LLM-RAG】知识库问答 | 检索 | embedding
RAG流程(写作论文中的background:公式设定、emb、召回内容、召回基准)(工作中的思路《A Survey on Retrieval-Augmented Text Generation》该工作旨在对检索增强文本生成进行研究。主要核心的点如下:1、Retrieval Source知识来源源训练语料:有标注的训练数据直接作为外部知识;外部数据:支持提供训练数据之外的外部知识作为检索来源,比如于任务相关的领域数据,实现模型的快速适应;无监督数据:前两种知识源都需要一定的人工标注来完善“检索依据-原创 2024-01-01 12:12:32 · 4539 阅读 · 5 评论 -
【LLM】Advanced rag techniques: an illustrated overview
RAG中的智能体(Agents in RAG)OpenAI 助手基本上整合了开源 LLM 周边工具——聊天记录、知识存储、文档上传界面。最重要的能力还是function call。在 LlamaIndex 中,有一个 OpenAIAgent 类将这种高级逻辑与 ChatEngine 和 QueryEngine 类结合在一起,提供基于知识和上下文感知的聊天,以及在一个对话轮次中调用多个 OpenAI 函数的能力,这真正实现了智能代理行为。【栗子】多文档智能体在每个文档上初始化一个Agent(Open原创 2024-03-10 18:04:01 · 1413 阅读 · 0 评论 -
【RAG】Chain-of-Verification Reduces Hallucination in LLM
相关工作大多数减少幻觉的方法大致可分为三类:训练时校正、生成时校正和使用工具。在训练时校正方法中:尝试通过训练或以其他方式调整模型权重以降低幻觉生成的概率来改进编码器-解码器或仅解码器语言模型的原始从左到右生成。这包括使用强化学习(Roit et al., 2023;Wu et al., 2023)、对比学习(Chern et al., 2023b;Sun et al., 2023b)和其他方法(Li et al., 2023)。在生成时校正中:一个共同的主题是在基础 LLM 的“之上”做出推理决策原创 2024-03-10 16:37:07 · 1325 阅读 · 0 评论 -
【LLM-RAG】BGE M3-embedding模型(模型篇|混合检索、多阶段训练)
M3-Embedding联合了3种常用的检索方式,对应三种不同的文本相似度计算方法。可以基于这三种检索方式进行多路召回相关文档,然后基于三种相似度得分平均求和对召回结果做进一步重排。多阶段训练过程:在这里插入图片描述第一阶段:第一阶段的自动编码预训练采用的是RetroMAE,在105种语言的网页跟wiki数据上进行,从而获得一个基底模型第二阶段:在第一个数据源的弱监督数据进行预训练,这阶段的损失损失只考虑基于稠密检索的对比学习损失。最后第三阶段会在第二,三个数据源的监督数据进行训练,这阶段原创 2024-02-16 16:01:32 · 8717 阅读 · 0 评论 -
【LLM】解析pdf文档生成摘要 | 智能文档概览
- 非常简单的一个v1版本 - 利用langchain和pdfminer切分pdf文档为k块,设置overlap等参数 - 先利用prompt1对每个chunk文本块进行摘要生成,然后利用prompt2对多个摘要进行连贯组合/增删- 评测标准:信息是否涵盖pdf主要主题、分点和pdf一二级标题比大体是否一致、摘要是否连贯、通顺Prompt1:分段总结```pythonprompt1 = '''你是一个摘要生成器。请根据下文进行分段总结,请注意: 1.输入数据为从原创 2023-08-27 16:48:08 · 3842 阅读 · 1 评论