BBQBRO的博客

智能体需要在一个明确定义的环境中运作。定义环境的目的是设定智能体的作用范围和互动对象，以确保其功能的有效性和可靠性。

其核心思想是将大模型的能力模块化，将每个模块的作用范围或应用场景进行清晰定义，从而在执行具体任务时能够更加精准和高效。这种更优范围限定的能力组合能够有效减少因模型泛化能力过强导致的误差和偏差。例如，在复杂任务的处理过程中，可以将模型划分为专门负责检索、分析和生成的模块，每个模块都有明确的职责范围，通过精确调控模型的行为来确保输出的稳定性和一致性。这一过程与 DSPy 等框架中的模块化优化思路一致，使得最终的模型在多步骤、多场景任务中表现出更高的质量和可靠性。

SFT：主要用于在预训练模型基础上，通过带标签的高质量数据进一步优化模型的性能，适合任务是预定义、明确答案的场景。RLHF：通过引入人类的反馈来指导模型的优化，特别适合处理开放性任务或模型输出不确定的情况。通过强化学习的方式，模型能够逐步学习符合人类偏好的输出。

该框架应该提供简洁、统一的抽象模型，便于开发者理解和使用代理系统。

Brief History and OverviewWhat is LLM agents?A brief history of LLM agentsOn the future of LLM agentshttps://www.youtube.com/watch?v=RM6ZArd2nVc&list=PLS01nW3RtgopsNLeM936V4TNSsvvVglLc&index=4中文字幕较为准确评论区有人总结：Chapter 1: Introduction (00:00 - 00:49)Presenter

生成中间步骤可以提高LLM的性能通过中间步骤进行训练/微调/提示零样本推理、类比推理、特殊解码自我一致性极大地改善了逐步推理的能力限制：无关上下文、自我纠错、前提顺序。