背景:
1、AI智能体作为当前最优AI应用模式已然成为必会的开发能力。
2、AI智能体开发框架已然成为程序员必须掌握的新开发环境,类似visual studio这样的开发工具。
3、AI Agent 让 “人机协同” 成为新常态,个人与企业步入 AI 助理时代。AI Agent 能够帮助未来企业构建以 “人机协同” 为核心的智能化运营新常态。
4、AI Agent 变革未来生产力的组织形式,对抗组织熵增。未来企业工作任务将在 AIGC 的助推作用下变得日益原子化和碎片化,复杂的流程将被无限拆解,再进行灵活的编排和组合,每个环节的效能和潜力都将被 AI 持续挖掘。
5、从供给端看,“人 + AI 数字员工”的高效协同模式将为大型企业对抗组织熵增提供理想的解法。
一、AI Agent是是啥?
1、基于大模型的AI应用
1)如果把大模型比作大脑,那 AI Agent 可以理解为小脑 + 手脚。
2)AI Agent可以接收外部信息,基于大模型的推理进行理解判断,基于判断做出决策,调用外部接口执行动作的一个自动执行的工作流应用。AI AGent可以与外部接受信息和交互。
2、对话AI就是一个智能体
DeepSeek,豆包,Kimi,元宝,这些都是对话智能体,接受外部提问,经过推理给生成答案内容。AI AGent可以独立运行,自动化执行。
3、举例
比如你做一个简历筛选,他可以把各种文件格式的,各种排版形式的简历放在一起按条件检索,这种用传统软件开放方式是比较复杂,利用AI AGent开发就简单很多,把简历导入知识库,利用RAG技术通过AI AGent开发框架调用就可以了,把月量级的工作,变成周的工作。
4、与Copilot的区别
1)如果说 Copilot 是 “副驾驶”,那么 Agent 则可以算得上一个初级的 “主驾驶”。
2)Copilot提出生成结果,由人筛选,AI Agent可以自动化执行。
二、智能体开发需要的技术栈
1、智能体的关键组件组成
Agent=LLM(选择大脑) + 规划技能(拆解工作,规划工作流) + 记忆(外部知识库,本地上下文) + 工具使用(对接外部应用)的基础架构。
1)基础大模型
负责知识推理和内容生成, LLM 扮演了 Agent 的 “大脑”,在这个系统中提供推理、规划等能力。
2)RAG开发框架,开发知识库
用来建立智能体或者企业的私有知识库,用来防止幻觉和增强行业知识和领域知识。
RAG就是通过检索获取相关的知识并将其融入Prompt,让大模型能够参考相应的知识从而给出合理回答。可以将RAG的核心理解为“检索+生成”,前者主要是利用向量数据库的高效存储和检索能力,召回目标知识;后者则是利用大模型和Prompt工程,将召回的知识合理利用,生成目标答案。
3)智能体开发框架
1)AI Agent开发平台和工具
应用开发的工具链,开发包的集合,各种组件和插件不断被开发出来。拖拉拽的开发工作流引擎,可以调用RAG,调用外部系统。发展越来越完善,越来能力越强。
2)智能体工作流开发框架,接收外部信息,检索知识库,检索结果叠加输入信息,调用基础大模型推理,根据生成内容进行工作流执行。
4)RPA工具
应用系统集成自动化工具,可以模仿用户输入操作,实现自动化应用执行。可以与AGent框架集成外部应用。
5)向量数据库,外部长期记忆
用来存储私有知识库,并提供检索索引能力,提高效率的的向量数据库和工具
三、智能体开发的技术架构选型
核心的选择是大模型,大模型选择就是DeepSeek+其他,然后就是智能体开发框架,智能体开发框架langchain用的比较多,这两个选择了,其他的就围绕这两个选就可以了。
1、选择基础大模型
选择应用合适的大模型,有商业化的也有开源的,现在的话LLM模型就选择DeepSeek就对了,多模态的没有公认的的,看看业务需要吧
2、选择智能体开发框架
1)国内:字节coze,阿里百炼,
2)国外开源:langchain,langgragh,dify这两个是公认比较好的,autoGPT,crewAI。
3)举例Dify软件的主要功能
(1)低代码/无代码开发:提供用户友好的界面,通过可视化的方式允许开发者轻松定义Prompt、上下文和插件等。
(2)模块化设计:采用模块化的设计,每个模块都有清晰的功能和接口,可以根据需求选择性地使用。
(3)丰富的功能组件:包括AI工作流、RAG管道、Agent、模型管理、可观测性功能等。
(4)支持多种大语言模型:已支持OpenAI GPT系列等模型,并计划进一步扩展。
(5)数据处理和特征工程工具:提供了数据清洗、特征选择、特征变换等功能。
集成外部知识源:允许自定义API接入外部知识源,让大型语言模型深入理解企业知识和业务。
3、选择RAG框架,知识库管理
1)智能体开发框架一般会集成一个RAG的框架。RAGFlow图形化操作比较友好,txtai功能比较全,比较闭环。llamaindex。
2)RAG一般会集成向量数据库,数据治理结果存储在向量数据库。进行数据治理,基于RAG技术开发私有知识库,对知识库进行拆分。
四、基于 DeepSeek-R1 + langchain 的 AI Agent 开发举例
1. 环境准备
bash
安装核心依赖
pip install langchain langchain-community transformers chromadb gradio
—
2. 核心代码实现
(1) 初始化本地模型
python
from langchain_community.llms import HuggingFacePipeline
from transformers import AutoModelForCausalLM, AutoTokenizer, pipeline
加载 DeepSeek-R1 本地模型
model_path = “/path/to/deepseek-r1” 替换为实际模型路径
tokenizer = AutoTokenizer.from_pretrained(model_path)
model = AutoModelForCausalLM.from_pretrained(model_path)
创建 HuggingFace 推理管道
text_generation_pipe = pipeline(
“text-generation”,
model=model,
tokenizer=tokenizer,
max_new_tokens=512,
temperature=0.3,
repetition_penalty=1.1
)
封装为 LangChain 兼容的 LLM
local_llm = HuggingFacePipeline(pipeline=text_generation_pipe)
(2) 创建知识库工具
python
from langchain_community.vectorstores import Chroma
from langchain_community.embeddings import HuggingFaceEmbeddings
from langchain.text_splitter import RecursiveCharacterTextSplitter
初始化嵌入模型
embeddings = HuggingFaceEmbeddings(model_name=“BAAI/bge-small-zh-v1.5”)
加载本地文档(示例使用 TXT 文件)
with open(“knowledge_base.txt”, “r”) as f:
text = f.read()
文档分块处理
text_splitter = RecursiveCharacterTextSplitter(chunk_size=500, chunk_overlap=50)
docs = text_splitter.split_text(text)
创建向量数据库
vector_db = Chroma.from_texts(docs, embeddings, persist_directory=“./chroma_db”)
封装为检索工具
retriever = vector_db.as_retriever(search_kwargs={“k”: 3})
(3) 添加实时搜索工具
python
from langchain_community.tools import DuckDuckGoSearchRun
初始化 DuckDuckGo 搜索工具
search_tool = DuckDuckGoSearchRun()
(4) 构建 Agent 系统
python
from langchain.agents import Tool, initialize_agent
from langchain.memory import ConversationBufferMemory
定义工具集
tools =
Tool(
name=“知识库查询”,
func=lambda query: str(retriever.get_relevant_documents(query)),
description=“用于查询本地知识库中的专业信息”
),
Tool(
name=“实时搜索”,
func=search_tool.run,
description=“用于获取实时新闻、天气、股票等最新信息”
)
创建对话记忆
memory = ConversationBufferMemory(memory_key=“chat_history”, return_messages=True)
初始化 Agent
agent = initialize_agent(
tools,
local_llm,
agent=“conversational-react-description”,
memory=memory,
verbose=True
)
(5) 创建交互界面
python
import gradio as gr
定义 Gradio 交互函数
def chat(message, history):
response = agent.run(message)
return response
启动 Web 服务
gr.ChatInterface(
chat,
title=“DeepSeek-R1 智能助手”,
description=“支持本地知识库查询和实时网络搜索”
).launch(share=True)
—
3. 应用场景演示
场景 1:查询本地知识库
用户输入:
“我们公司的售后服务政策是什么?”
Agent 响应流程:
1. 调用 `知识库查询` 工具检索相关文档
2. 将检索结果输入 DeepSeek-R1 生成自然语言回复
3. 输出:“根据公司政策,所有产品享受3年质保,7天内无理由退货…”
—
场景 2:实时信息检索
用户输入:
“今天北京的天气怎么样?”
Agent 响应流程:
1. 识别需要实时数据,调用 `实时搜索` 工具
2. 获取 DuckDuckGo 返回的天气信息
3. 使用 DeepSeek-R1 总结搜索结果
4. 输出:“根据最新天气数据,北京今日晴转多云,气温18-25℃,空气质量良好…”
—
场景 3:混合查询
用户输入:
“对比我们产品A和竞品B的技术参数”
Agent 响应流程:
1. 通过 `知识库查询` 获取产品A的规格参数
2. 使用 `实时搜索` 获取竞品B的最新信息
3. DeepSeek-R1 进行对比分析
4. 生成对比表格和总结建议
—
4. 关键优化技巧
(1) 提示词工程优化
在 Agent 初始化前添加系统提示:
python
from langchain.prompts import MessagesPlaceholder
system_prompt = “”“你是一个专业助理,请遵守以下规则:
1. 优先使用知识库查询工具获取准确信息
2. 涉及实时数据时必须使用搜索工具
3. 用中文分点回答,重要数据用加粗显示”“”
agent.agent.llm_chain.prompt.messages =
SystemMessage(content=system_prompt),
MessagesPlaceholder(variable_name=“chat_history”),
HumanMessagePromptTemplate.from_template(“{input}”),
MessagesPlaceholder(variable_name=“agent_scratchpad”)
(2) 结果后处理
添加响应格式校验:
python
from langchain.output_parsers import StructuredOutputParser
from langchain.schema import OutputParserException
output_parser = StructuredOutputParser.from_response_schemas(
ResponseSchema(name=“answer”, type=“string”, description=“主要回答内容”),
ResponseSchema(name=“sources”, type=“list”, description=“数据来源”)
)
def format_response(raw_response):
try:
return output_parser.parse(raw_response)
except OutputParserException:
return {“answer”: raw_response, “sources”: }
(3) 性能监控
集成 Prometheus 监控:
python
from prometheus_client import start_http_server, Counter
REQUEST_COUNTER = Counter(‘agent_requests’, ‘Total API requests’)
RESPONSE_TIME = Histogram(‘agent_response_time’, ‘Response time in seconds’)
@RESPONSE_TIME.time()
def chat(message, history):
REQUEST_COUNTER.inc()
…原有逻辑…
—
5. 部署架构
mermaid
graph TD
A用户界面 --> B(Gradio Web Server)
B --> CLangChain Agent
C --> D{决策路由}
D -->本地知识 EChroma DB
D -->实时数据 FDuckDuckGo API
C --> GDeepSeek-R1 模型
G --> H响应生成
H --> B
—
6. 常见问题解决
问题 1:模型加载内存不足
解决方案:
python
使用 4-bit 量化加载
model = AutoModelForCausalLM.from_pretrained(
model_path,
load_in_4bit=True,
device_map=“auto”
)
问题 2:检索结果不准确
优化方法:
python
混合检索策略
from langchain.retrievers import BM25Retriever, EnsembleRetriever
bm25_retriever = BM25Retriever.from_texts(docs)
ensemble_retriever = EnsembleRetriever(
retrievers=vector_db.as_retriever(), bm25_retriever,
weights=0.6, 0.4
)
问题 3:响应速度慢
加速技巧:
python
启用流式响应
text_generation_pipe = pipeline(
…,
streamer=TextStreamer(tokenizer, skip_prompt=True)
)
启用缓存
from langchain.cache import SQLiteCache
import langchain
langchain.llm_cache = SQLiteCache(database_path=“.langchain.db”)
—
扩展方向建议
1. 多模态支持:集成 LLaVA 等视觉模型处理图片/PDF
2. API 扩展:添加企业内部系统接口(CRM/ERP)
3. 分布式部署:使用 Ray 框架实现计算资源扩展
4. 审计日志:记录完整的 Agent 决策过程
这个示例展示了如何将本地部署的大模型与 LangChain 生态结合,构建具备实际应用价值的 AI Agent。开发者可以根据具体需求调整工具组合和业务流程。
如何学习大模型 AI ?
由于新岗位的生产效率,要优于被取代岗位的生产效率,所以实际上整个社会的生产效率是提升的。
但是具体到个人,只能说是:
“最先掌握AI的人,将会比较晚掌握AI的人有竞争优势”。
这句话,放在计算机、互联网、移动互联网的开局时期,都是一样的道理。
我在一线互联网企业工作十余年里,指导过不少同行后辈。帮助很多人得到了学习和成长。
我意识到有很多经验和知识值得分享给大家,也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑,所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限,很多互联网行业朋友无法获得正确的资料得到学习提升,故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。
第一阶段(10天):初阶应用
该阶段让大家对大模型 AI有一个最前沿的认识,对大模型 AI 的理解超过 95% 的人,可以在相关讨论时发表高级、不跟风、又接地气的见解,别人只会和 AI 聊天,而你能调教 AI,并能用代码将大模型和业务衔接。
- 大模型 AI 能干什么?
- 大模型是怎样获得「智能」的?
- 用好 AI 的核心心法
- 大模型应用业务架构
- 大模型应用技术架构
- 代码示例:向 GPT-3.5 灌入新知识
- 提示工程的意义和核心思想
- Prompt 典型构成
- 指令调优方法论
- 思维链和思维树
- Prompt 攻击和防范
- …
第二阶段(30天):高阶应用
该阶段我们正式进入大模型 AI 进阶实战学习,学会构造私有知识库,扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架,抓住最新的技术进展,适合 Python 和 JavaScript 程序员。
- 为什么要做 RAG
- 搭建一个简单的 ChatPDF
- 检索的基础概念
- 什么是向量表示(Embeddings)
- 向量数据库与向量检索
- 基于向量检索的 RAG
- 搭建 RAG 系统的扩展知识
- 混合检索与 RAG-Fusion 简介
- 向量模型本地部署
- …
第三阶段(30天):模型训练
恭喜你,如果学到这里,你基本可以找到一份大模型 AI相关的工作,自己也能训练 GPT 了!通过微调,训练自己的垂直大模型,能独立训练开源多模态大模型,掌握更多技术方案。
到此为止,大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗?
- 为什么要做 RAG
- 什么是模型
- 什么是模型训练
- 求解器 & 损失函数简介
- 小实验2:手写一个简单的神经网络并训练它
- 什么是训练/预训练/微调/轻量化微调
- Transformer结构简介
- 轻量化微调
- 实验数据集的构建
- …
第四阶段(20天):商业闭环
对全球大模型从性能、吞吐量、成本等方面有一定的认知,可以在云端和本地等多种环境下部署大模型,找到适合自己的项目/创业方向,做一名被 AI 武装的产品经理。
- 硬件选型
- 带你了解全球大模型
- 使用国产大模型服务
- 搭建 OpenAI 代理
- 热身:基于阿里云 PAI 部署 Stable Diffusion
- 在本地计算机运行大模型
- 大模型的私有化部署
- 基于 vLLM 部署大模型
- 案例:如何优雅地在阿里云私有部署开源大模型
- 部署一套开源 LLM 项目
- 内容安全
- 互联网信息服务算法备案
- …
学习是一个过程,只要学习就会有挑战。天道酬勤,你越努力,就会成为越优秀的自己。
如果你能在15天内完成所有的任务,那你堪称天才。然而,如果你能完成 60-70% 的内容,你就已经开始具备成为一名大模型 AI 的正确特征了。