一、大模型
1.工作原理
2.固有缺陷及改进方法
(1)不具备知识出现幻觉
改:使用外接知识库给LLM提供知识
(2)无法解决复杂逻辑任务
改:多个LLM协同,各司其职
(3)不擅长数学运算
改:使用外接工具如计算器等
二、大模型开发现有开发范式
1.检索增强生成(RAG)
(1)检索增强生成(Retrieval Augmented Generation,简称 RAG)是一种人工智能框架,将预先训练的语言模型与检索机制相结合,旨在解决一些不仅仅需要通用语言模型知识的任务。
(2)RAG 的工作原理如下:
检索:检索模型接收输入(如查询或提示)后,使用检索系统在广泛的文档数据库中搜索与输入最相关的文档,运用各种技术(如 tf-idf、bm25 或密集检索器等神经方法)来排序和选择最相关的信息,然后将选定的信息传递给生成模型。
生成:生成模型采用序列到序列转换器,获取用户查询和检索到的上下文,并生成连贯且上下文相关的响应。该转换器不仅考虑原始输入,还会结合检索到的文档,以确保生成的响应精确且有意义,最终的响应是检索到的信息和模型自身生成能力的组合。
2. Al Agent
(1) AI Agent 是一种能够在特定环境中自主感知、思考、决策和行动,以实现特定目标或完成特定任务的智能实体。
(2) 组成部分
感知模块:用于收集环境中的信息,如传感器数据、文本输入、图像等。
知识表示与存储:存储和管理 Agent 所获取的知识和经验,常见的有数据库、知识图谱等。
推理与决策模块:根据感知到的信息和已有知识进行推理和决策,运用算法和模型确定行动策略。
行动模块:执行决策模块制定的行动,与环境进行交互,如控制机器人的运动、发送网络请求等。
(3)类型
反应型Agent:根据当前的感知直接做出反应,没有内部状态或记忆,例如简单的自动售货。
思考型Agent:具有内部状态和推理能力,能够规划和预测未来,例如智能导航系统。
学习型Agent:能够从与环境的交互中学习和改进自己的行为,例如通过强化学习训练的游戏AI。
三、Prompt工程
1.定义:Prompt 工程指的是精心设计输入给模型的提示 (Prompt),以引导模型生成更准确、有用和符合期望的输出。
2.作用
(1)引导模型的输出方向,明确告知模型需要解决的问题或生成的内容类型。
(2)提供背景信息和上下文,帮助模型更好地理解任务和输入数据。
(3)激发模型的创造力,给予一些启发和示例,促使模型生成新颖的内容。
3.关键要素
(1)清晰明确,避免模糊和歧义,让模型能够准确理解意图。
(2) 具体详细,包含足够的关键信息和约束条件。
(3)适当的示例,展示期望的输出格式或风格。
(4)适应性 根据不同的模型和任务进行调整。
4.设计 Prompt 的方法
(1)逐步引导,分步骤给出提示,逐步引导模型的思考过程。
(2) 多角度描述,从不同的角度描述问题或需求。
(3) 利用模板,遵循固定的结构和格式。
5.主流 Prompt 工程
四、智能体
1.定义:智能体是能够感知环境、做出决策并执行动作以实现特定目标的实体。
2.特点
- 自主性:能够独立地进行决策和行动,不需要持续的外部干预
- 感知能力:通过传感器或其他方式获取环境信息
- 学习能力:能够从经验中学习,改进自身的行为和决策
3.分类
- 简单智能体:具有有限的感知和决策能力
- 反射型智能体:基于当前感知直接做出反应
- 基于模型的智能体:利用内部模型预测未来状态并做出决策
- 目标导向智能体:专注于实现特定目标
4.应用领域
- 交通领域:自动驾驶汽车、智能交通系统
- 医疗领域:辅助诊断、医疗机器人
- 工业领域:自动化生产线、智能仓储
- 金融领域:风险评估、智能投资顾问