LangChain 实战30讲|精通大模型开发
文章平均质量分 98
零基础也能玩转 AI 与全栈开发!本专栏涵盖 Prompt 工程、Transformer、LangChain、RAG 知识库与私有化部署等核心内容,理论 + 实战 + 习题一站式教学。体系完整、由浅入深,手把手带你吃透 AI 大模型工程化与全栈应用开发,快速进阶高薪 AI 技术赛道。
Thomas.Sir
深耕IT行业十余载,资深Java架构师、AI架构师、全栈研发工程师多重身份,兼具一线实战研发与顶层架构设计双重经验。
紧跟科技前沿,专注AI大模型应用落地、RAG智能检索、AI Agent开发与智能化系统搭建,打通传统后端与人工智能技术壁垒。同时通晓前后端全栈开发,技术覆盖面广,实战经验扎实。擅长将复杂技术通俗化拆解,兼顾零基础入门与高阶架构,致力于分享实战干货、避坑经验与行业前沿技术,助力广大开发者快速提升技术实力,少走研发弯路,一同奔赴技术成长之路。
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
第30课:LangChain|综合项目实战【企业级私有知识库问答系统从零到上线】【已完结】
摘要:本文介绍如何从零搭建一个企业级私有知识库问答系统,涵盖完整技术栈和实现流程。系统采用LangChain框架,结合本地化部署的Ollama模型,实现敏感数据的安全处理。核心架构包括文档处理流水线、混合检索系统(向量+关键词+重排序)、智能Agent工作流、FastAPI后端服务和Docker容器化部署。通过混合检索策略提升查询准确率,利用流式响应优化用户体验,最终构建一个支持多格式文档、具备语义理解能力的企业内部知识助手。系统完全私有化部署,确保数据不出内网,适用于...原创 2026-05-23 20:24:07 · 836 阅读 · 0 评论 -
第29课:LangChain 项目性能调优【Token 优化、缓存、并发处理】
文章摘要 本文系统讲解了LangChain项目中的性能调优技术,重点解决生产环境中的三大挑战:Token消耗爆炸、重复请求低效和高并发延迟问题。主要内容包括: Token优化:通过tiktoken精确计算token消耗,调整chunk大小和重叠,智能截断冗余上下文 缓存机制:实现内存/SQLite精确缓存和基于向量相似度的语义缓存 并发处理:利用异步API和批量请求提升吞吐量 性能监控:建立token消耗、延迟和缓存命中率等关键指标 文章提供了可落地的代码示例和优化策略,帮助开发者将LangChain...原创 2026-05-22 21:53:44 · 697 阅读 · 0 评论 -
第28课:LangChain + FastAPI 接口封装【前后端分离项目部署】
摘要 本文介绍了如何将LangChain的AI能力封装为生产级API服务,使用FastAPI框架实现前后端分离架构。主要内容包括: FastAPI基础:高性能异步Web框架,支持自动文档生成和类型安全 API设计: 同步/异步调用方式对比 流式输出实现(Server-Sent Events) 请求/响应模型定义 关键技术: 会话状态管理(内存/Redis) 跨域资源共享(CORS)配置 错误处理与日志记录 部署方案: Uvicorn运行 Docker容器化 Nginx反向代理 前端集成:演示如何通过...原创 2026-05-22 20:26:04 · 534 阅读 · 0 评论 -
第27课:LangChain|LangGraph 工作流编排【状态机、多节点复杂业务流程】
LangGraph 是 LangChain 生态中的工作流编排工具,专注于处理多节点、复杂业务流程的自动化管理。其核心设计基于状态机模型,允许开发者通过定义状态和节点间的流转逻辑,构建灵活且可扩展的业务流程。LangGraph 支持多节点并行执行、条件分支和循环控制,适用于需要动态调整路径的场景,如对话系统、数据处理流水线或决策引擎。通过可视化编排界面,开发者可以直观地设计工作流,减少代码冗余,提升开发效率。原创 2026-05-22 12:11:45 · 554 阅读 · 0 评论 -
第26课:LangChain 工具库精讲【爬虫、计算器、API 调用工具】
本节课系统讲解LangChain生态中三类核心工具的实现与应用: 网页爬虫工具:基于requests+BeautifulSoup实现安全网页抓取,处理动态内容与反爬机制 计算工具:采用numexpr库实现安全数学表达式计算,避免eval的安全风险 API调用工具:设计受限制的通用API调用器,支持白名单域名与GET请求 课程包含: 工具设计的核心要素(名称/描述/参数Schema/异常处理) 三类工具的具体实现方案与安全考量 工具注册到Agent的完整流程 综合实战案例:构建智能调研助手...原创 2026-05-21 08:30:00 · 514 阅读 · 0 评论 -
第25课:LangChain|自定义Agent开发、工具注册、多工具编排调度
摘要 本课程深入讲解如何自定义LangGraph Agent系统,重点涵盖工具注册管理、多工具编排调度和错误处理机制。主要内容包括: 工具注册与发现:使用@tool装饰器定义工具,构建中央注册表管理工具元数据 多工具编排:实现顺序执行、并行调用、条件分支等高级工作流模式 自定义Agent逻辑:超越标准LLM决策,引入硬编码规则和状态机控制 错误处理机制:工具调用失败时的自动重试和备选方案切换 状态共享:通过中间结果字典实现工具间数据传递 课程包含"旅行规划...原创 2026-05-21 19:00:00 · 358 阅读 · 0 评论 -
第24课:LangChain|内置Agent使用【ReAct、OpenAI Function Calling实战】
课程摘要 本节课深入探讨了两种主流Agent模式:ReAct和OpenAI Function Calling。ReAct通过提示词模板引导LLM输出结构化响应,兼容任何文本生成模型;Function Calling则利用模型原生API支持结构化工具调用,可靠性更高。课程对比了两种模式的优缺点,并演示了如何使用LangGraph的create_react_agent统一接口快速构建Agent。学习目标包括掌握两种模式的实现原理、适用场景,以及完成基于本地模型和API模型的实战项目。原创 2026-05-21 18:45:00 · 389 阅读 · 0 评论 -
第23课:LangChain|Agent智能代理核心原理与运行机制
摘要 本文深入讲解LangChain Agent的核心概念与实现方法,重点介绍基于LangGraph框架构建智能代理的新范式。主要内容包括: Agent核心概念:Agent是能够自主决策、调用工具并执行多步推理的LLM系统,包含工具(Tools)、LLM大脑和执行环境三大要素,采用ReAct(Reasoning+Acting)循环模式工作。 技术演进:对比新旧架构,指出传统AgentExecutor已被废弃,推荐使用LangGraph这一基于状态机的新框架,具有更灵活的控制流和状态管理能力。 实现原理...原创 2026-05-21 07:45:00 · 406 阅读 · 0 评论 -
第22课:LangChain|RAG进阶优化【重排序、上下文压缩、混合检索策略】
摘要 本文深入探讨了RAG(检索增强生成)系统的三大核心技术优化方案,旨在解决基础RAG在实际生产环境中的痛点问题。课程重点讲解了重排序(Re-ranking)、**上下文压缩(Context Compression)和混合检索(Hybrid Search)**的核心原理与实现方法。 核心内容: 混合检索:结合BM25关键词检索与向量语义检索,通过RRF融合算法提升召回率与精确匹配能力。 重排序技术:利用Cross-Encoder模型对初筛结果进行精排,修正向量检索的排序偏差。 上下文压缩:通过LLM提取文原创 2026-05-20 20:00:00 · 631 阅读 · 0 评论 -
第21课:LangChain|基础RAG从零手写【文档切片→向量化→检索→生成全流程】
手写RAG完整流程:从文档加载到答案生成 课程摘要 本课程深入讲解如何从零开始实现一个完整的RAG(检索增强生成)系统,不使用任何预封装的高级链,而是手写每个环节。课程内容涵盖: 文档加载:读取本地TXT文件 文本切片:使用递归字符分割器将文档切块 向量化与存储:用嵌入模型将文本转为向量并存入向量库 检索:将用户问题向量化并从库中召回相关块 生成:构建提示模板调用大模型生成答案 通过本课程,学员将掌握RAG系统的核心实现原理,能够独立编写完整的RAG流程代码,为后续高级优化打下坚实基础。课程采用LangCh原创 2026-05-20 08:00:00 · 485 阅读 · 0 评论 -
第20课:LangChain|RAG检索增强生成完整原理|架构拆解与落地流程
RAG底层运行原理剖析 RAG系统的核心流程可分为离线索引构建和在线问答两个阶段: 1. 离线索引构建 文档预处理:通过文本分割器将原始文档切分为语义连贯的chunk(通常200-500字符) 向量编码:使用嵌入模型(如BGE、OpenAI embeddings)将文本块转化为768-1024维向量 向量存储:采用近似最近邻算法(ANN)建立索引,支持高效相似度检索 2. 在线问答流程 查询编码:用户问题通过相同嵌入模型向量化 语义检索:在向量空间执行k-NN搜索,返回Top-K相似文档块 上下文组装...原创 2026-05-19 21:00:00 · 336 阅读 · 0 评论 -
第19课:LangChain|文本分割器精讲【字符分割、递归分割、语义分割实战】
摘要 本文系统介绍了LangChain中的三种文本分割器及其在RAG系统中的应用。文本分割是连接文档加载与向量存储的关键环节,能有效解决嵌入模型的输入限制、检索粒度等问题。文章首先分析了文本分割的必要性,指出512字符块长与10-20%重叠是最佳实践。随后详细解析了三种分割器:字符分割器(简单快速但破坏语义)、递归分割器(官方推荐,保持语义边界)和语义分割器(基于嵌入模型的智能切分)。重点阐述了递归分割器的工作流程与参数调优,以及语义分割器利用向量相似度实现话题感知切割的原理。最后提供了环境配置指南和实战建原创 2026-05-19 20:00:00 · 340 阅读 · 0 评论 -
第18课:LangChain|Document文档加载器|TXT/PDF/Word/网页文档解析
本文摘要: 本文是LangChain第18课,系统讲解文档加载器(Document Loaders)的核心技术与实战应用。课程首先回顾了RAG系统流程,强调文档加载作为数据入口的关键作用。通过剖析Document数据结构、BaseLoader接口设计原理,深入讲解四大类文档加载器:纯文本(TXT/Markdown)、PDF(PyPDFLoader/UnstructuredPDFLoader)、Word(UnstructuredWordDocumentLoader)和网页(WebBaseLoader/Asyn原创 2026-05-19 19:00:00 · 406 阅读 · 1 评论 -
第17课:LangChain|FAISS向量数据库接入|海量文档高效检索优化
LangChain结合FAISS向量数据库,为海量文档检索提供高效解决方案。FAISS(Facebook AI Similarity Search)通过优化的向量索引技术,显著提升相似性搜索速度,尤其适合处理高维向量数据。LangChain作为开发框架,简化了FAISS的集成流程,支持快速构建基于语义的检索系统。通过嵌入模型将文档转化为向量,FAISS建立索引并实现毫秒级检索。LangChain的模块化设计支持灵活配置检索策略,包括分块...原创 2026-05-19 10:28:24 · 406 阅读 · 0 评论 -
第16课:LangChain接入Chroma向量库|本地知识库入库实战
本地知识库构建与语义检索实战 本文介绍如何使用LangChain和Chroma向量数据库构建本地知识库,实现高效的语义检索功能。通过完整的文档处理流水线,将PDF、Word等文档转化为可检索的向量形式,并支持基于语义相似度的查询。 核心流程与技术要点 文档处理流水线: 文档加载:支持多种格式(PDF/Word/Markdown) 文本分割:采用递归字符分割器保持语义完整 向量化:使用本地嵌入模型生成文本向量 存储检索:利用Chroma实现高效向量检索 关键技术: 文本切块策略:通过chunk_size...原创 2026-05-19 09:37:56 · 553 阅读 · 0 评论 -
第15课:LangChain|Vector向量数据库基础|嵌入模型原理与选型指南
文章摘要 本文深入探讨了RAG系统中的两大核心技术:嵌入模型和向量数据库。嵌入模型将文本转化为高维向量,实现语义搜索而非简单关键词匹配,其中MTEB基准是评估模型质量的重要标准。主流嵌入模型可分为云端API、开源本地部署和CPU端侧三类,各有适用场景。向量数据库则通过高效索引算法实现快速相似性检索,是RAG系统的"记忆体"。文章还提供了详细的环境配置指南和模型选型建议,为构建完整的语义搜索系统奠定基础。后续课程将在此基础上展开文档加载、文本分割等RAG核心组件的学习。原创 2026-05-19 08:00:00 · 869 阅读 · 0 评论 -
第14课:LangChain|SummaryMemory摘要记忆|Token压缩记忆优化技巧
摘要 本文深入探讨了LangChain中的摘要记忆机制及其演进方向。核心内容包括: 摘要记忆原理:通过AI自动提炼对话核心内容,将旧对话压缩为精炼摘要,解决Buffer Memory无限膨胀问题。 技术实现: ConversationSummaryMemory动态更新摘要文本 ConversationSummaryBufferMemory采用混合策略(保留最近对话+摘要压缩旧历史) 版本演进: 旧版摘要记忆组件已被标记为废弃 新版推荐使用LangGraph Checkpointer实现更灵活的摘要功能 应用原创 2026-05-18 21:27:30 · 656 阅读 · 0 评论 -
第13课:LangChain|ConversationBufferMemory【彻底搞懂对话内存的核心原理与演进】
摘要 本文系统梳理了LangChain记忆组件的演进历程,重点解析了ConversationBufferMemory的设计缺陷及其被InMemoryChatMessageHistory替代的原因。旧版ConversationBufferMemory存在接口耦合、语义混乱等问题,而新版通过BaseChatMessageHistory接口实现存储与业务逻辑解耦。InMemoryChatMessageHistory作为轻量级内存存储基座,采用消息对象列表存储对话历史,更符合现代聊天模型的数据格式,支持灵活扩展..原创 2026-05-18 13:14:41 · 617 阅读 · 0 评论 -
第12课:Memory记忆机制全解:会话记忆、缓存记忆底层原理
文章摘要 本文深入探讨了LangChain的记忆系统架构演进,重点介绍了新版记忆管理体系的核心组件和使用方法。主要内容包括: 记忆系统的重要性:解决大模型无状态问题,实现上下文连贯性(73%用户认为直接影响使用体验)和个性化交互。 新旧架构对比: 旧版(v0.2)使用ConversationBufferMemory等已被废弃的API,存在耦合深、扩展性差的问题 新版(v0.3+/v1.0)采用BaseChatMessageHistory接口和RunnableWithMessageHistory包装器,实现存原创 2026-05-17 20:00:00 · 402 阅读 · 0 评论 -
第11课:LangChain|SequentialChain顺序链|路由链多任务智能分发实战
摘要:本文系统介绍了LangChain中任务编排的核心技术,从传统顺序链到现代LCEL流水线的演进路径。主要内容包括: 编排范式对比:传统SimpleSequentialChain与现代RunnableSequence的差异,后者支持流式处理和异步调用 核心组件解析: RunnableSequence实现线性数据管道 RunnableBranch完成条件路由分发 RunnableParallel实现并行任务处理 实战案例: 多步顺序链(大纲生成→脚本扩展) ...原创 2026-05-17 13:30:00 · 505 阅读 · 0 评论 -
第10课:LangChain|LLMChain|ConversationChain对话链底层源码与实战
摘要 本文系统讲解了LangChain中即将被废弃的LLMChain和ConversationChain组件,帮助开发者理解其历史作用、当前局限及迁移路径。主要内容包括: 组件解析: LLMChain作为最早的"模型+模板"封装,已在0.1.17版本标记废弃 ConversationChain作为带记忆的对话链,在0.2.7版本废弃 迁移方案: 推荐使用LCEL的prompt | llm管道操作替代LLMChain 用RunnableWithMessageHistory+ChatMess原创 2026-05-17 08:30:00 · 443 阅读 · 0 评论 -
第9课:LangChain|Chain核心链路原理【基础Chain执行流程与内置Chain详解】
摘要 本文系统介绍了LangChain中的核心组件Chain(链)及其现代实现方RunnableSequence。主要内容包括: Chain的本质演变:从旧版LLMChain到现代RunnableSequence+LCEL的转变,Chain成为连接组件的“逻辑流水线”。 核心概念解析: Runnable作为统一接口的可执行单元 LCEL表达式语言通过管道符组合组件 RunnableSequence的惰性求值特性 技术实现原理: 惰性求值带来的序列化和调试优势 流式输出和批处理的底层机制...原创 2026-05-16 21:00:00 · 308 阅读 · 0 评论 -
第8课:LangChain|OutputParser输出解析器【结构化输出、JSON格式化实战】
OutputParser是LangChain框架中用于处理模型输出的核心组件,能够将非结构化的文本转换为结构化数据(如JSON、字典或自定义对象)。通过预定义解析规则,OutputParser确保模型输出的格式符合下游任务的需求,提升数据可用性。在JSON格式化实战中,OutputParser可将自然语言描述转换为标准JSON结构,适用于API交互或数据存储场景。原创 2026-05-16 20:00:00 · 708 阅读 · 0 评论 -
第7课:LangChain|ChatPrompt对话模板|系统提示/用户提示/历史消息整合
文章摘要: 本文深入解析LangChain中ChatPromptTemplate的核心机制与应用场景,重点讲解如何通过System/Human/AI三消息架构构建专业对话系统。主要内容包括: 角色分工:System消息设定AI行为准则(权重最高),Human消息承载用户输入,AI消息记录模型回应,三者形成完整的对话编排体系。 六种消息格式:详细剖析from_messages支持的元组简化语法、BaseMessage实例等六种模板构建方式,及其适用的开发场景。 动态注入机制:通过MessagesPlaceho原创 2026-05-16 19:00:00 · 460 阅读 · 0 评论 -
第6课:LangChain|FewShotPrompt少样本提示|示例选择器与提示词工程进阶
摘要 本文系统介绍了LangChain中的Few-Shot Prompting技术,重点讲解FewShotPromptTemplate的四大核心要素(示例库、格式化器、前缀/后缀、选择策略)和三种内置示例选择器(长度选择器、语义相似度选择器、MMR选择器)。文章通过生活类比阐释了Few-Shot的核心价值,对比分析了不同选择器的适用场景,并深入剖析了底层运行原理。此外,还介绍了FewShotChatMessagePromptTemplate在聊天模式中的应用,以及上下文工程的四大策略。文中包含详细的...原创 2026-05-16 12:45:00 · 662 阅读 · 0 评论 -
第5课:LangChain|PromptTemplate 提示词模板精讲|自定义模板与变量传参
LangChain的PromptTemplate是构建高效提示词的核心工具,支持动态变量传参和模板自定义,显著提升与大模型交互的灵活性和可控性。通过预定义模板结构,用户可嵌入变量占位符(如{input}),运行时传入具体值生成最终提示词,适用于问答、摘要、代码生成等多样化场景。自定义模板支持多变量嵌套、条件逻辑和格式化控制,例如结合template.format()方法实现动态内容填充。原创 2026-05-16 12:15:00 · 423 阅读 · 0 评论 -
第4课:本地大模型接入:Ollama+LangChain 本地私有化部署实战
本文介绍了如何使用Ollama和LangChain实现本地私有化部署大模型,摆脱云端依赖,确保数据安全。主要内容包括: 环境准备:硬件配置评估(从1B到70B模型的推荐配置)、Ollama跨平台安装指南(Windows/macOS/Linux)、模型选择建议(不同规模模型的中英文能力对比) 核心概念:Ollama作为"大模型版Docker"的三大功能(模型仓库、管理、推理服务),与LangChain的集成架构(基础调用...原创 2026-05-16 00:56:18 · 492 阅读 · 0 评论 -
第3课:LangChain大模型接入:OpenAI、通义千问、DeepSeek通用调用
LangChain作为大模型应用开发框架,支持灵活接入多种主流大模型,包括OpenAI、通义千问、DeepSeek等。通过统一的API接口和模块化设计,开发者可快速实现模型调用、上下文管理及功能扩展。OpenAI接入需配置API密钥,通过ChatOpenAI类调用GPT系列模型。通义千问和DeepSeek需使用自定义封装或HTTP请求,LangChain提供LLM基类便于适配不同厂商的接口规范。通用调用流程包括初始化模型实例...原创 2026-05-16 00:55:38 · 624 阅读 · 0 评论 -
第2课:Python前置知识与LangChain核心设计思想|执行流程详解
摘要 Python高级特性速成 异步编程(async/await)实现非阻塞I/O操作,LangChain通过ainvoke/astream支持并发请求 类型提示(Type Hints)提升代码可读性,如Runnable[Input, Output]泛型标记 上下文管理器(with)自动管理资源,用于回调函数和数据库连接 生成器(yield)实现流式输出,核心是逐步返回而非一次性处理 LangChain设计精髓 Runnable抽象 统一调用接口...原创 2026-05-15 20:23:03 · 351 阅读 · 0 评论 -
第1课:LangChain 整体架构认知|版本选择与零基础环境搭建
本文是《LangChain从入门到精通》系列课程的第一课,系统介绍了LangChain框架的核心概念、架构分层和开发环境搭建。课程首先明确了学习目标,包括理解LangChain的四大核心能力组件、掌握整体架构分层、版本选择策略等。文章详细讲解了LangChain解决的三大核心痛点(模型交互重复工作、记忆与外部知识管理、复杂任务处理),并通过餐厅点餐的类比形象解释了核心组件功能。在环境准备部分,提供了详细的Python环境配置指南和两种替代OpenAI...原创 2026-05-15 18:29:25 · 962 阅读 · 0 评论
分享