强化学习曾小健

最近我们通过一些新闻博客包括LLMs产品的推出，

在这款免费插件上，我们进行了更舒适的自定义AI编程操作，Cline也许可以成为Cursor，Windsurf等产品的平替备选。此时，有些朋友会发现，有时模型生成的代码，无法达到预期。第三步，选择Deepseek模型，并配置刚才创建的Deepseek的API Key，模型名称保持默认deepseek-chat即可（官方已合并chat和coder为同一个模型）国产模型 Deepseek V3 的发布，还让一些社区的小伙伴按捺不住内心的激动，想要迅速内置到一些IDE的AI编程插件中，让AI牛马为自己工作。

总结来说，通过智能体计算机接口（ACI），SWE-agent让LLM有了与专属的Docker容器互动，实现浏览、搜索、编辑和执行代码的功能，从而极大地拓宽了LLM在软件开发领域的应用范围。他们发布的世界上第一位AI程序员——Devin，不仅掌握了全栈技能，能自主学习不熟悉的技术，端到端地构建和部署应用程序，自己改bug，甚至还能训练和微调自己的AI模型！Devika是一个富有主动性的AI软件工程师，它能够理解人类的高级指令，把这些指令分解成具体步骤，搜集所需的信息，并据此编写代码来完成既定目标。

人工智能与算法学习以下文章来源于凡人机器学习 ，作者傲海凡人机器学习.了解机器学习在业务中的应用，让更多的初级数据开发者可以享受到人工智能的福利。一.Agent发展将会是LLM的下半场目前大家都在讨论LLM，LLM解决的问题是帮助机器像人类一样理解彼此的意图，本质上来讲，LLM更像是一个技术或者工具。但是人类社会发生变革的引线，往往是一个产品或者解决方案，比如电池技术的发展带来了长续航，但是真正改变大家生活的是电动车这样一个产品。

2008 年的画作《乌兹别克斯坦的刺绣》中，哪些水果是 1949 年 10 月远洋客轮早餐菜单的一部分，后来该客轮被用作电影《最后的航行》的浮动道具？使用每种水果的复数形式。一个有趣的发现是，如果我们不提供计划的先前版本作为输入，分数就会上升。例如，在上面的 GAIA 问题中，唯一重要的信息是“乌兹别克斯坦的刺绣”这幅画的图像。它周围的任何东西，比如我们在博客上找到的，对于更广泛的任务解决来说通常都是无用的。可以说，如果有比我们当前的编程语言更好的方法来严格表达详细的动作，它就会成为一种新的编程语言！

适用于长HTML文档，采用局部和全局注意力机制以及长跨度去噪目标的混合，用于规划和总结。我们通过实验证明，我们的模块化方法将真实网站的成功率提高了50%以上，并且HTML-T5是解决各种HTML理解任务的最佳模型。在MiniWoB网页自动化基准测试中，其成功率比之前的方法高出18.7%，在Mind2Web这一离线任务规划评估中也达到了最新的性能水平。我们介绍了 MetaGPT，一个创新的元编程框架，将高效的人类工作流程整合到基于大型语言模型的multi-agent协作中。

此代码只是用来学习使用，并不能完成复杂的业务逻辑，用户如果想实现更加复杂的业务功能，则需要对提示词和工具进行添加和调整，比如做旅行规划就需要添加。而如果后续需要开发更加复杂的业务功能，比如说金融行业的投资分析，需要非常复杂的业务分析等环节，这时只依靠大模型本身的能力就不行了。最后两个就是大模型的调用模块和业务的解析模块，大模型的调用模块相对比较简单，这里就不仔细说了，感兴趣的可以直接看代码。提示词是最重要的一个环节，我们知道大模型的能力是一方面，但怎么发挥大模型的能力是由提示词的质量决定的。

GitHub Copilot 已经面世两年了，在此期间，该工具帮助开发人员将编码速度提高了 55%，借助 GitHub Copilot，85% 的开发人员对自己的代码更有信心，88% 的开发人员在使用 GitHub Copilot 时感觉更顺畅。这些开发者随机被分配去盲审匿名提交的代码，包括使用和未使用 GitHub Copilot 编写的代码。的，官方也说明了 Bug 检测仍处于试验阶段，可能无法发现代码中的所有问题，可能会损失用户金钱，却得不到任何有效漏洞，请自行承担使用风险，看来大家还是慎用此功能。

研究发现，通过一种采样和投票的方法，LLM的性能随着代理数量的增加而提升。这种方法是现有复杂方法的一个正交替代，并且其增强效果与任务难度相关。通过在广泛的LLM基准测试上进行综合实验，验证了这一发现的存在，并研究了其发生的促进因素。本文通过简单的采样和投票方法，揭示了增加LLM代理数量可以显著提升模型性能的现象。这一发现为未来的LLM性能优化提供了新的思路和方法。

ReAct 方法能够发挥 LLM 的推理能力，通过交错生成推理轨迹和任务特定的操作，实现推理与操作的协同。这些应用常见的功能包括起草文档、内容汇总、提供公式建议等，它们通常以侧边栏或对话框的形式出现，帮助用户自动调用工作空间中的文件和信息，并进行处理生成。：短期记忆通过利用提示（Prompt）中的信息和上下文数据进行学习，而长期记忆则通过外部向量存储和快速检索技术来实现，这使得智能体能够在更广泛的时间跨度内存储和回忆（理论上无限）信息。未来，随着模型能力的提升，智能体可能能够创造新工具。

这样做的好处是，由于已经知道了所有 agent 的状态和动作，因此对这个超级 agent 来说，环境依旧是稳态的，一些单 agent 的算法的收敛性依旧可以得到保证。这样做的缺点是环境是非稳态的，训练的收敛性不能得到保证，但是这种方法的好处在于随着 agent 数量的增加有比较好的扩展性，不会遇到维度灾难而导致训练不能进行下去。而本节所讨论的竞争型的 multi-agent 系统则遵循另一种范式：每一个 agent 具有相对平等的地位，通过与不同个体间的信息交流和各自的活动，以实现各自不同的目标。

如果你实际上看看文献，很有趣的是，很多在使用方面的工作似乎都起源于视觉领域，因为在 GPT-4 等出现之前， LLM 对图像是盲目的，这就是使用，并扩展了 LLM 可以做的事情。我部分感觉，如果你期待在 GPT-5 上运行你的东西，零次射击，你可能真的会在某些应用上获得比你想象的更接近那种水平的表现，通过 Agent 推理，但在一个早期模型上，我认为，这是一个重要趋势。我认为这更多是一个新兴的领域，当我使用它们时，有时候我对它们的表现感到惊讶，但至少在此刻，我感觉我不能总是可靠地让它们工作。

这篇论文介绍了一种新的评估数据科学代理的基准测试框架DSEval，并提出了一系列创新的基准测试，用于评估这些代理在整个数据科学生命周期中的性能。

研究表明，当LLM能够参考其他模型的输出时，它们会产生更高质量的响应，哪怕这些辅助响应的质量低于模型独立输出的质量。，已经展现出了惊人的能力，无论是理解还是生成自然语言，它们都能做得很好。但问题来了，这些模型的规模和训练成本都很高，这让它们在实际应用中有点不切实际。通过使用多个开源模型并优化层数和智能体的数量，MoA能够在保持高性能的同时，成本也更加可控。上的得分高达65.1%，超过了之前领先的GPT-4o的57.5%。想象一下，如果每个智能体都能贡献自己的一份力量，那么最终的输出结果将会多么强大！

Decagon 的成功并非偶然。它的产品不仅能回答客户的问题，还能处理退货等需求，为客户支持团队提供强大的工具。Decagon 的 CEO Jesse Zhang 表示，他们的目标是让 AI Agent 成为每位客户的私人管家，这一愿景让人充满期待。Jesse Zhang 认为，客户支持人员将不再负责日常的重复性工作，而是转变为 AI 经理，负责配置、培训和监督 AI Agent 的工作。比如，当客户再次联系时，AI Agent 能够快速识别客户的身份，并根据其过往的购买记录和偏好，提供更加精准的建议。

原创 sunworshipper 多模态DailyArxiv 2024年10月28日 22:24 北京OpenWebVoyager: Building Multimodal Web Agents via Iterative Real-World Exploration, Feedback and Optimization作者: Hongliang He, Wenlin Yao, Kaixin Ma, Wenhao Yu, Hongming Zhang, Tianqing Fang, Zhenzhong La

欢迎多多关注公众号，加入交流群，交个朋友吧，一起学习，一起进步！OpenAI Function Call的Agent问答对话。2行命令即可启动前后端服务，页面无脑操作，小白也能轻松上手。URL自动解析工具：复现了Kimi Chat网址发出来功能。网址，发出来)，支持OpenAI/Azure API。支持用户管理，权限控制，支持聊天记录导入导出。LangChain实现了支持query改写。2024年07月06日 11:52。支持语音输入输出，支持图像生成。，支持Google搜索、的检索增强RAG文件问答。

MultiOn：一家创新的人工智能初创公司，致力于开发AI代理，帮助用户自动化日常任务，如预订旅行、餐厅等，以节省时间并提升生活质量。Fireworks AI：提供基于AI的解决方案，专注于推动企业的市场营销自动化和客户互动，通过数据驱动的方法提升营销效果。LM Studio：专注于开发和部署大型语言模型（LLM）应用程序的公司，提供一系列工具和平台以支持AI驱动的创作和开发。Mistral AI：一家新兴的人工智能公司，专注于构建高效能的大型语言模型，以推动自然语言处理领域的发展。

在选择AI Agent框架时，你需要考虑项目的具体需求、团队的熟悉程度以及框架的社区支持和文档情况。LangChain：适合需要构建复杂对话系统、文本生成等应用的场景。LangGraph：适合需要构建复杂、动态AI应用的场景，特别是需要多次迭代的任务。CrewAI：适合需要多个智能体协同工作，按顺序执行任务的场景。：适合需要高性能、可扩展LLMs应用的场景。AutoGen：适合需要多个智能体协同工作，且需要可定制和可交互智能体的场景。

这样，即使是现成的LLM也能写出超长的文章来。总的来说，我们的工作表明，现有的长上下文 LLM 已经具备了更大的输出窗口的潜力——您所需要的只是在模型对齐期间具有扩展输出的数据来解锁此功能。然后是“write”阶段，模型根据这个计划，一段接一段地写，而且写的时候还会记得前面写了啥，保证文章的连贯性。为了严格评估方法的有效性，又开发了一个叫LongBench-Write的测试标准，专门用来评估模型写长文的能力。简单来说，现在的LLM虽然能处理超长的文字输入，但要它们自己写出个几千词的文章，那可就难了。

Decagon 的成功并非偶然。它的产品不仅能回答客户的问题，还能处理退货等需求，为客户支持团队提供强大的工具。Decagon 的 CEO Jesse Zhang 表示，他们的目标是让 AI Agent 成为每位客户的私人管家，这一愿景让人充满期待。Jesse Zhang 认为，客户支持人员将不再负责日常的重复性工作，而是转变为 AI 经理，负责配置、培训和监督 AI Agent 的工作。比如，当客户再次联系时，AI Agent 能够快速识别客户的身份，并根据其过往的购买记录和偏好，提供更加精准的建议。

大模型上下文协议的英文全称是Model Context Protocol，缩写为MCP，这是由Anthropic（对，就是那个Claude模型背后的企业，这个企业的介绍参考：https://www.datalearner.com/ai-organizations/anthropic ）发布的大模型连接资源的协议，一个开放的连接标准，旨在简化AI工具与数据资源的对接方式，助力构建真正的上下文感知型AI系统。

不仅增加处理任务的数量，还将多模态挑战如音频和视频数据纳入其中，力求覆盖更广泛的真实场景，以提升系统的多样性和实用性。y 轴为比赛的 ID；总体而言，Agent K v1.0 的学习框架凭借结构化推理和长期记忆机制，达成了 LLM 在复杂数据科学任务中的高效学习与适应，为构建自动化、高效且可扩展的数据科学智能体开辟了崭新的途径。根据 Kaggle 的排名系统，将智能体的表现与其他 Kaggle 用户进行比较，并计算其 Elo-MMR 积分，以评估其在 Kaggle 用户群体中的相对位置。

它源自CAMEL AI，是一个早期的基于大模型的多智能体框架的开源项目。他们重视透明性和开源原则，致力于建立一个大规模的社区，专注于大模型智能体的开发和使用。在动手实践的Workforce的Workshop中，您将与其他参与者组成一个Team，并学习创建具有多模态的工作流程。在学习如何构建多智能体系统之后，可以参加我们的Hackathon来检验您学习到的知识和技能。在一个活动中能学到如何在没有任何编程经验的情况下，搭建您的第一个多智能体系统，的向量搜索功能，构建基于检索增强生成（RAG）的系统，并通过。

Talker-Reasoner架构由两个核心组件组成：1. Talker（说话者）：对应人类的系统1，负责快速、直觉性的对话交互。2. Reasoner（推理者）：对应人类的系统2，负责复杂推理、规划和信念形成。这两个组件通过共享内存进行交互，实现了快速响应与深度思考的有机结合。研究者清晰地用一张图说明了用户、世界、Talker Agent和Reasoner Agent之间的交互关系。以下是图片的主要内容：左侧显示了用户和世界，代表系统的输入来源。

在人工智能领域，Agent设计模式是指在创建智能代理时使用的一系列策略和方法。例如，建筑工程项目需要详细的施工计划和进度安排，以确保各个阶段按时完成。历史数据分析系统可以在没有实时数据的情况下，通过分析过去的数据来做出预测。例如，机器人可以在实验室中进行自主实验，探索新材料的特性。相比于需要预先计划的模式，ReAct模式能够更快地适应环境变化。例如，在智能工厂中，多个机器人可以通过Reflexion模式协调工作，优化生产流程。与需要实时数据支持的模式相比，REWOO模式更依赖于过去的经验和知识库。

来生成对话数据以研究聊天代理的行为和能力，为研究对话语言模型提供了宝贵的资源。我们的贡献包括引入一种新颖的交流代理框架，提供一种。建议使用该数据集训练的任何模型都不要用于研究目的以外的任何用途。我们实施了其他作品中的精彩研究想法，以便您构建、比较和自定义您的代理。对话和基于聊天的语言模型的快速发展已在复杂任务解决方面取得了显著进展。，大规模研究这些代理可以深入了解它们的行为、能力和潜在风险。具体方法取决于您的操作系统和您使用的 shell。演示，展示了两个 ChatGPT 代理之间的对话，他们扮演。

然而，由于Think-on-Graph中内置了“自我反思”能力，即当判断输出答案的可信度不足时，会自动回溯KG上的推理路径，检查路径中的每一个三元组，并通过LLM自有的知识将KG上内容“可疑”的三元组挑选出来，向用户反馈可疑信息的分析和纠错建议，由用户决定是否纠正。显然，在这个例子中，LLM的判断是“否”，因此进入第二轮迭代，分别以实体Australian Capital Territory和实体Australia为中心，来搜索其周边相邻的实体，再次选取出两条得分最高的候选路径。应该优于段誉”这个结论。

请定义和解释ai agentPoe人工智能代理（AI Agent）是指能够在特定环境中感知、决策和行动的计算机系统。：AI代理能够通过传感器或数据输入从环境中获取信息。例如，自主驾驶汽车的AI代理通过摄像头和雷达感知周围的交通状况。：AI代理能够基于感知到的信息进行分析和推理，从而做出决策。这可能涉及使用机器学习算法、规则引擎或其他形式的人工智能技术。：AI代理能够采取行动，以影响其环境。行动可以是物理上的，例如机器人手臂移动物体，或者是虚拟上的，例如自动化客服系统回复用户问题。

Agent今年(在以吴恩达老师为首的各类大佬的吹捧下)热度很高，但现有的这些所谓的(multiagent workflow，本质上是。现有的(multi) agent workflow，速度慢先不说,最大的问题还是在接口的地方把信息降维了。因此，现有的(multi)agent workflow方式注定只是一个中间状态，类似自动驾驶中感知+规控+高精地图的拼凑。Agent 的概念依日重要，但应该回归它更加native 的定义，即每一个 Agent 应该是独立的智能体，拥有自己的。把信息降维到人能理解的维度。

Thought -> Action -> Observation

结论1: 多LLM代理框架（例如本文的Planner、Caller、Summarizer）能够克服传统单个LLM在工具学习方面的性能限制，通过模块化的方法分解任务，可以利用小型LLMs构建特定能力，并且更容易更新和维护。结论2: 多阶段微调比单阶段微调效果更好。与单阶段微调的多 LLM（Multi-LLM one-stage）和多任务微调的单一大型语言模型（Single-LLM multi-task）相比，α-UMi 展现了更好的性能，说明 GLPFT 策略在提升模型性能方面的有效性。

它不仅能够模拟人类的交流方式，还能在复杂的环境中执行多样化的任务。AI Agent的作用日益凸显，从提供个性化推荐到辅助决策，再到自动化的流程管理，它们的应用范围正在不断扩大。然而，要充分发挥AI Agent的潜力，我们需要一个有效的架构设计，以确保它们能够更好地理解和适应所处的环境。Profile Module：此模块的目标是集中关于真实人类的信息，并将其组织成自然语言提示，以构建详尽的Profile。通过统一的记忆结构，AI Agent能够存储和回忆与用户相关的信息，从而提供更加个性化的服务。

1. LLM-based Agent 整体架构2. LLM-based Agent 重点&难点问题3. 基于大语言模型的用户行为模拟智能体4. 基于大语言模型的多智能体软件开发5. LLM-based Agent 未来方向分享嘉宾｜陈旭博士 中国人民大学 准聘副教授出品社区｜DataFun。

本文主要介绍了两个工作，一个是research agent，用于研究想法生成，不过依赖chatgpt来完成的实验，但思路值得借鉴。另一个是关于AI top50的榜单推荐，我们可以从中看到大致的商业化趋势。

复杂查询和总结大量文本数据方面的局限性，并提出了未来工作的方向，包括任务扩展性、多代理系统的应用以及自动化设计行动知识库等。

有趣的方面，就是它需要能够有自主思考的能力、有自己的个性和感情。而有用的方面，就是 AI 能够解决工作、生活中的问题。

如果您希望机器人代表您使用这些独特的方法，您可以轻松创建工作流以将其转换为机器人技能。您可以在知识中存储和管理数据。无论您是需要处理来自 PDF 的数十万字还是来自网站的实时信息，只需创建一个知识库，您的机器人就可以访问相关知识。Coze是由字节跳动推出的一个AI聊天机器人和应用程序开发平台，无论用户是否有编程经验，都可以通过该平台创建各种类型的聊天机器人、Agent、AI应用和插件。Coze可以理解为字节跳动版GPTs，Coze使用的是OpenAI的GPT-4和GPT-3.5，并未使用自研的云雀大模型。

多智能体协作（吴恩达在这里的举例，来自清华面壁智能的开源项目 ChatDev）。每个 Agent 被赋予了不同的身份，比如有的是 CEO，有的是产品经理，有的是程序员，他们互相合作互相对话，比如你让他们开发一个简单的小游戏，他们会花几分钟时间来编写代码并测试。尽管有时候不是很有效，但非常有前景和想象力，它模拟了现实生活中的工作场景，Multi-agent 不仅仅只能执行单一任务，而是成为了一个复杂系统。最后是结论，我认为未来，得益于 Agentic Worklfow，AI 能做出来更多牛逼的应用。

LLM Agent 是一种人工智能系统，它利用大型语言模型 (LLM) 作为其核心计算引擎，展示文本生成之外的功能，包括进行对话、完成任务、推理，并可以展示一定程度的自主行为。LLM Agent 根据设计阶段授予的功能，Agent 从纯粹的被动到高度主动的自主行为。同时利用大模型的推理能力，让 Agent 可以在人工监督下管理相对独立的工作流程：分析目标，项目规划，执行，回顾过去的工作，迭代细化。