![](https://img-blog.csdnimg.cn/20190927151117521.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
Agent
文章平均质量分 70
agent从入门到xx
谁怕平生太急
110010
展开
-
学习资料集合
Triton中部署vLLM:https://github.com/triton-inference-server/tutorials/tree/main/Quick_Deploy/vLLM。源码:https://zhuanlan.zhihu.com/p/659219334 、 https://www.bilibili.com/video/BV1fF41197XT/?经济日报:http://paper.ce.cn/pc/layout/202404/09/node_01.html。原创 2024-07-23 14:26:10 · 556 阅读 · 0 评论 -
LlamaIndex介绍
教程分成以下部分:1、入门2、学习3、用例4、示例5、高级6、组件指南。原创 2024-06-04 17:44:22 · 981 阅读 · 0 评论 -
LangChain v0.2介绍
LangSmith:一个开发者平台,可调试、测试、评估和监控LLM应用程序。LangServe:用于将 LangChain 链部署为 REST API 的包。可以轻松启动并运行生产就绪的 API。LangChain:包含构成认知架构的链、代理和检索策略。无第三方集成。LangChain-Community:包含由 LangChain 社区维护的第三方集成。LangChain-Core:包含不同组件的基本抽象以及将它们组合在一起的方法。无第三方集成。原创 2024-06-03 15:47:19 · 242 阅读 · 0 评论 -
Agent能力的训练与评估
Agent落地需要按照业务场景进行深度定制和微调训练。原创 2024-05-31 16:48:12 · 345 阅读 · 0 评论 -
RAG的评估指标
检索精确率:检索到的上下文与回答问题相关的百分比,范围是0-1分。此项是衡量检索的性能。增强准确率:答案中检索到的上下文的百分比,范围是0-1分。此项是衡量增强生成的性能。检索上下文是否进入答案,范围是0-1分。此项是衡量增强生成的性能。分母不同:前者的分母是所有上下文、精确率的分母是相关的检索上下文。答案相似度:LLM结果和参考结果的相似度,范围是0-5分。出现的信息,范围是0-1分,如果不包含,分数为1。答案一致性:答案是否包含检索到的上下文中。此项是衡量最终结果的性能。此项是衡量幻觉的性能。原创 2024-05-31 10:02:01 · 628 阅读 · 0 评论 -
Agent 如何更有用
先看这篇会更连贯。原创 2024-05-21 19:39:42 · 1091 阅读 · 0 评论 -
Agent的长期记忆
如果什么时候,可以不断流式的接受外界的输入token,KV Cache一直在GPU内存或者临时换出到CPU内存,这样KV Cache就是AI Agent的工作记忆,或者说AI Agent的状态,这是的Agent或许就是不断进行的“半神”存在。大模型的输入:包括角色设定(system prompt)、最近对话、全局记忆概要(即角色对用户的核心记忆 b.2)、经过RAG的聊天记录分段总结(a.)和分类总结(b.1)。,每次API调用还是无状态的,需要带上前面所有的聊天记录,重复计算所有的KV Cache。原创 2024-05-21 17:27:30 · 1417 阅读 · 0 评论 -
Agent-FLAN:Agent调优的数据设计和方法
在将代理能力整合到目前通用的LLM中,存在以下3个问题:(1)目前的Agent训练语料库既包含了格式遵循又包含了一般推理,这显著偏离了其预训练数据的分布。原创 2024-05-20 20:07:20 · 1191 阅读 · 0 评论 -
LangGraph介绍
找一个LangGraph的标准实例、结合代码可以有更好的掌握比较复杂的Agent流程、最好是多循环模式。敬请期待。原创 2024-05-20 15:47:39 · 1358 阅读 · 0 评论 -
认知架构 cognitive architecture
GPT-Researcher:从执行图来看,是朝一个方向流动的,执行了许多复杂的步骤,但以明确的方式进行:首先生成子问题,然后获得子问题的链接,总结每个链接,最后将摘要合并到研究报告中。这似乎是一个五五开的分配,一半是在于核心模型的改进,另一半是在于弄清楚如何以一种具有代理性的方式将它们最佳连接。如果你的应用依赖于代理的工作,而让代理工作又是具有挑战性的,那么几乎可以说如果你能做好这一点,你就会比你的竞争对手拥有优势。当前问题:从各个方面来看,这种Agent的认知架构并不足以支持严肃的应用。原创 2024-05-20 11:52:08 · 1264 阅读 · 0 评论 -
Agent之推理模式:Reflection、Reflexion、LATs
反思的定义:LangChain博客的介绍说是一种用来提供Agent质量和成功率的。归根结底,核心还是prompt的设计。用额外的计算来获得更好的输出质量,这点有点像CoT和ToT的设计。但与之不同的是,CoT和ToT是和LLM单轮的交互,而Reflection一般是和LLM多轮的交互(封装在Agent框架当中),尽管看起来和人类的交互是单轮的。原创 2024-05-17 16:12:47 · 1374 阅读 · 0 评论 -
如何实现langchain的bind_tools功能
以上便实现了将tool加载到llm的同时,llm也能正常的对话,其核心在于 agent的prompt和JSONAgentOutputParser这两部分。如何用vllm框架提供的类openAI风格LLM服务,不具备直接使用 LangChain的bind_tools功能,可以通过以下方式使用。从这个例子,也可以看出LangChain最需要掌握的是ICEL表达式的使用。这么实现之后,就方便LangGraph的后续操作了。原创 2024-05-15 17:22:23 · 1840 阅读 · 0 评论 -
langchain源码
RunnableBinding类:用额外的功能封装一个Runnable。RunnableAssign 一般与RunnableParallel结合,将输入数据复制保留,将产生的数据用 RunnableParallel的key记录下来。Runnable 还具有的方法:bind、 with_config。Runnable 的基本方法有 invoke、 batch、 await、 ainvoke、 abatch 同步转异步。config_schema() 方法:可接受的配置类型,指定为一个pydantic模型。原创 2024-05-15 17:10:18 · 250 阅读 · 0 评论 -
LangChain_Tools
2、tool 的必备属性有:name、description、JSON schema (tool输入)、调用的函数、工具的结果是否应直接返回给用户。其中name、description和 JSON schema 可用于提示 LLM、写入在LLM的system prompt当中,以便它知道如何指定要执行的操作,然后调用的函数相当于执行该操作。3、tool建议:输入越简单、LLM越容易使用,比如单个字符串。1、Tools 可以被Agent、Chain、LLM所使用。原创 2024-05-15 15:21:11 · 256 阅读 · 0 评论