- 博客(315)
- 收藏
- 关注
RSS订阅原创 《让本地Llama拥有企业知识：RAG离线知识库完整实现》
今天完成：✅ 理解RAG原理✅ 搭建离线知识库流程✅ PDF解析✅ 文本切片✅ Embedding生成✅ FAISS向量检索✅ 对接本地Llama现在你的AI已经从：普通聊天机器人升级为：懂你资料的私人AI助手完整架构：本地文档↓RAG系统↓↓本地LLM↓AI助手。
2026-08-11 10:00:00
160
原创 《llama.cpp Server实战：把本地模型变成OpenAI兼容接口》
简单理解：让程序之间可以互相调用的接口。例如：以前：Python程序↓OpenAI服务器↓GPT模型现在：Python程序↓↓你的电脑↓Llama模型今天完成：✅ 理解LLM服务架构✅ 启动llama-server✅ 将本地模型API化✅ 使用OpenAI SDK调用✅ 实现流式输出✅ 构建本地ChatGPT基础架构现在你的系统：从：命令行AI升级为：AI服务平台完整架构：Web应用OpenAI SDKllama.cpp。
2026-08-11 05:20:52
179
原创 《让本地LLM速度提升10倍：llama.cpp CUDA GPU加速实战》
本篇完成：✅ 理解GPU为什么适合LLM✅ 学会安装CUDA环境✅ 编译CUDA版llama.cpp✅ 掌握GPU Offload机制✅ 学会显存优化✅ 提升本地模型推理速度现在你的本地AI已经从：能运行升级到：高速运行。
2026-08-11 05:19:49
272
原创 《手把手运行第一个本地大模型：Llama/Qwen GGUF模型部署》
很多初学者第一次接触本地部署，会疑惑：为什么下载一个模型文件就可以聊天？实际上，一个大语言模型本质上是一组巨大的数学参数。例如：≈ 80亿个参数语言规律知识关系推理能力简单理解：训练阶段：大量文本↓神经网络学习↓生成模型参数部署阶段：模型参数↓输入问题↓预测下一个Token↓输出答案今天完成：✅ 理解大语言模型结构✅ 认识GGUF格式✅ 学会下载模型✅ 使用llama.cpp运行模型✅ 掌握核心参数✅ 成功运行第一个本地AI。
2026-08-10 15:10:43
294
原创 《llama.cpp从零编译教程：Windows + Linux完整环境搭建》
本篇完成了：✅ 了解llama.cpp架构✅ Windows编译环境搭建✅ Linux环境搭建✅ CMake与Make区别✅ CUDA加速编译现在你的电脑已经具备运行本地大模型的基础环境。
2026-08-10 15:09:32
344
原创 《告别API费用：为什么越来越多开发者开始部署本地LlamaAI大模型？》
简单来说：本地部署就是把大语言模型下载到自己的电脑、服务器或者边缘设备中，让模型直接运行。传统AI：你的电脑请求↓云端GPU服务器↓返回答案本地AI：你的电脑↓本地模型↓本地GPU/CPU计算↓生成答案本地大模型并不是为了替代云端AI。云端AI本地AI快速体验完全控制无需维护数据安全效果领先成本更低依赖网络支持离线未来AI应用的发展，很可能不是：所有人访问同一个云端模型而是：每个人、每个企业拥有自己的AI模型。
2026-08-10 15:02:39
282
原创 AI Agent工程师成长路线：从调用API到构建下一代智能系统（附完整实战代码）
未来：普通开发：调用模型。高级开发：构建Agent。顶级AI工程：构建完整智能系统。技术路线：LLM↓RAG↓Agent↓MCP↓部署↓端侧AI↓具身智能未来5年：AI不会取代所有程序员。但是：不会构建AI系统的程序员，竞争力会越来越弱。真正的机会：属于能够把：模型能力转化为：真实产品能力的人。
2026-08-09 12:57:20
210
原创 AI Agent + 机器人时代：从视觉感知到自主行动的完整技术路线
过去：AI存在于屏幕里。未来：AI进入现实世界。完整路径：大语言模型↓Agent↓多模态模型↓机器人控制↓具身智能真正的智能：不是会回答问题。而是：能够理解世界，并采取行动。未来最大的AI机会：可能不是再造一个聊天机器人。而是：让AI拥有身体，进入现实世界。AI Agent工程师成长路线：从调用API到构建下一代智能系统AI工程技能树；学习路线；项目实战规划；就业方向；未来5年技术机会。
2026-08-09 12:52:52
227
原创 AI从云端到边缘：YOLO + TensorRT + C++打造实时视觉Agent
简单理解：把AI模型从服务器：搬到设备附近。例如：服务器：Camera↓Internet↓Cloud GPU↓Result边缘：Camera↓↓GPU/NPU↓Result工控机；GPU电脑；ARM开发板。未来智能系统：不会只是：一个聊天窗口。而是：摄像头端侧模型Agent云端大模型组成的完整智能体。云端：负责复杂思考。边缘：负责实时感知。这就是未来：机器人、智能制造、自动驾驶、智能终端的发展方向。
2026-08-09 12:51:48
188
原创 AI Agent安全攻防：为什么你的智能体可能泄露企业数据？
过去：软件安全保护程序。未来：软件安全还要保护：AI的决策过程。一个真正企业级Agent：必须满足：智能可控可审计安全未来AI竞争：不仅是谁的模型更强。也是：谁能让AI安全地进入真实世界。AI从云端到边缘：YOLO + TensorRT + C++打造实时视觉Agent为什么视觉AI必须边缘部署；YOLO模型优化；TensorRT加速；C++推理框架；摄像头实时检测；视觉Agent完整链路。
2026-08-08 22:45:44
208
原创 AI应用上线架构设计：从Demo到百万用户，AI系统如何保证稳定？
未来AI应用竞争：不会只是：谁会调用GPT。而是：谁能把AI变成稳定的软件系统。完整AI工程体系：大模型RAGAgentMCP部署架构监控成本优化最终目标：让AI像传统软件一样：可靠。可维护。可扩展。AI Agent安全攻防：为什么你的智能体可能泄露企业数据？Prompt Injection攻击；数据泄露风险；Agent权限隔离；MCP安全设计；企业AI防护方案。
2026-08-07 23:49:57
229
原创 AI模型微调实战：什么时候该Fine-tune？LoRA如何让模型变成你的专属AI
很多人误解Fine-tuning：我要训练一个比GPT更强的模型。实际上：微调的价值是：让通用模型：变成专用模型。未来AI工程体系：会越来越像：基础模型RAG知识增强LoRA行为定制Agent执行能力端侧部署这才是真正企业级AI落地路线。
2026-08-07 13:30:00
217
原创 AI推理成本优化指南：如何让百万用户AI应用跑得起？
未来AI系统：一定不是：一个超级大模型解决所有问题。而是：大模型小模型缓存RAGAgent优化端云协同组合成：高性能、低成本的智能系统。真正优秀的AI工程师：不仅要知道：如何调用模型。更要知道：如何让百万用户用得起模型。AI应用上线架构设计：从Demo到百万用户，AI系统如何保证稳定？AI系统高并发架构；服务拆分；GPU集群调度；Kubernetes部署；灰度发布；线上故障处理。
2026-08-07 13:02:45
166
原创 从0搭建个人AI助手：端侧模型 + RAG + Agent完整架构实践
一个真正属于个人的AI：不是：每天重新认识你的聊天机器人。而是：随着时间成长的智能伙伴。技术组成：端侧模型RAGMemoryAgentMCP可观测性这些模块组合起来：才是未来个人智能体的基础。未来AI竞争的关键：不是谁拥有最大的模型。最懂用户的智能系统。
2026-08-05 10:30:00
8
原创 RAG系统上线指南：从本地知识库到企业级AI搜索，为什么你的AI总是答非所问？
很多人理解RAG：上传PDF，然后AI回答。实际上：文档工程；数据清洗；Chunk策略；Embedding优化；向量数据库；混合检索；Reranker；Prompt工程；评估体系。一个优秀RAG系统的核心：不是让模型知道更多。在正确的时候，把正确的信息交给模型。未来企业AI落地，大概率都会围绕：LLMRAGAgentMCP端侧AI展开。
2026-08-04 18:00:00
194
原创 AI Agent为什么经常失控？用Langfuse打造生产级可观测体系
AI Agent最大的风险：不是它不会工作。而是：它工作失败时，没有人知道为什么。一个真正生产级Agent必须具备：模型能力工具能力数据能力可观测能力Langfuse、Opik这类工具的重要意义：不是简单记录日志。而是让AI系统：可理解。可优化。可运营。未来AI应用竞争：不会只是模型参数竞争。谁能把不确定的AI，工程化成可靠的软件系统。
2026-08-04 12:00:00
216
原创 为什么未来AI一定会走向端侧？云端大模型的三个限
端侧AI（On-device AI）：指AI模型直接运行在用户设备上。手机；笔记本；智能眼镜；汽车；IoT设备。传统云端：手机↓网络↓服务器模型端侧：手机↓本地模型↓NPU/GPU数据不需要离开设备。未来AI架构：不会是：云端 VS 端侧。而是：云端 + 端侧。大规模计算；复杂推理；大模型能力。实时响应；隐私数据；个性化记忆。真正属于用户的AI：必须能够：陪伴用户。理解用户。长期学习用户。
2026-08-03 20:53:15
420
原创 MCP服务器生产部署实战：让AI Agent安全调用数据库、文件和API
tools.py：data = {"北京":"晴天","上海":"多云","深圳":"小雨"city,"未知城市"server.py："""查询城市天气"""启动：现在：你的AI拥有：天气查询能力。过去：软件通过API连接世界。未来：AI Agent通过MCP连接世界。但是需要注意：MCP不是让AI获得无限权限。权限控制；参数验证；操作审计；服务隔离。未来AI应用架构很可能变成：大模型AgentMCP企业数据端侧智能。
2026-08-03 20:50:19
57
原创 AI推理服务性能优化：为什么你的模型响应这么慢？从KV Cache到量化加速
大模型时代：“能运行”已经不是核心竞争力。跑得快；成本低；并发高；稳定运行。一个优秀AI系统，需要同时考虑：模型选择。推理框架。GPU资源。缓存优化。量化技术。服务架构。如何让AI以最低成本、高可靠性运行在真实业务中。AI Agent上线必踩坑：从聊天机器人到生产智能体还差哪些工程？Agent架构设计；Memory系统；Workflow编排；权限控制；生产部署方案。
2026-08-03 11:54:48
128
原创 一台GPU服务器如何部署自己的大模型？从Ollama到vLLM完整实践
现在下载一个7B模型只需要几分钟。如何利用GPU；如何控制成本；如何提高吞吐；如何保证稳定；如何提供服务。未来AI开发不会只是：“调用一个API”。而会越来越像传统软件工程：需要：架构设计。部署能力。性能优化。运维监控。掌握大模型部署能力，你才能真正拥有自己的AI基础设施。《AI推理服务性能优化：为什么你的模型响应这么慢？从KV Cache到量化加速》为什么大模型推理慢；GPU利用率优化；Batch机制；KV Cache原理；INT4量化；
2026-08-03 11:51:35
19
原创 从OpenAI API到企业私有化部署：AI模型上线到底有哪些方案？一文搞懂大模型部署路线
大模型部署没有绝对最优方案。数据敏感程度；用户规模；成本预算；延迟要求；硬件条件。对于个人开发者：先使用API快速验证。对于企业：逐渐迁移到私有化部署。对于未来智能设备：端侧AI会成为重要方向。真正优秀的AI工程师，不只是会调用模型。而是知道：什么时候使用云。什么时候部署私有模型。什么时候让AI运行在用户设备上。《一台GPU服务器如何部署自己的大模型？从Ollama到vLLM完整实践》CUDA环境配置；GPU检查；模型下载；vLLM部署；
2026-08-03 11:49:09
300
原创 AI应用上线第一步：为什么你的大模型Demo无法进入生产环境？
一个Demo：几小时可以完成。一个真正上线的AI产品：架构设计；数据管理；成本控制；模型优化；安全问题；运维监控。大模型降低了AI应用开发门槛。但同时，也提高了软件工程要求。未来真正有竞争力的开发者，不只是会调用GPT、Claude、Gemini等模型。模型能力 → 产品能力 → 商业价值完整连接起来。《从OpenAI API到企业私有化部署：AI模型上线到底有哪些方案？API调用私有云部署本地大模型混合部署以及企业应该如何选择自己的AI部署路线。
2026-08-03 11:44:37
196
原创 为什么你的AI Agent上线后变笨了？从一次错误回答定位LLM应用隐藏问题
因为：模型只是整个系统的一部分。AI Agent最大的问题，不是它不会回答。而是：当它回答错误时，我们不知道为什么。可追踪；可分析；可评估；可优化。Langfuse、Opik等工具的价值，就是帮助开发者打开AI应用黑盒。当一次错误回答发生时，不再靠猜。你可以清楚看到：哪里出了问题。为什么出现问题。如何解决问题。未来真正成熟的AI Agent，不只是一个聪明的模型，而是一套完整的软件工程系统。
2026-07-29 11:45:00
186
原创 别急着让AI Agent拥有权限：没有监控的智能体，比Bug代码更危险
AI Agent最大的变化，是它开始从“回答问题”走向“执行任务”。而执行任务意味着：它会影响真实系统。当一个Agent可以：修改文件；操作数据库；调用企业服务；它就必须像生产系统一样被监控。没有可观测性的Agent，就像：没有日志的服务器。没有黑匣子的飞机。出了问题，只能等待事故发生后猜原因。未来AI应用竞争，不只是模型能力竞争，更是工程能力竞争。谁能够让Agent：更聪明；更稳定；更安全；更可控；谁才能真正把AI从Demo带入生产环境。
2026-07-28 12:15:00
206
原创 你的AI Agent正在偷偷失控：一次错误调用背后的黑盒危机，如何用Langfuse找回控制权？
AI Agent真正进入生产环境后，最大的挑战已经不是：“模型会不会回答问题。而是：“我们能不能理解它为什么这样回答。多轮推理；工具调用；自动规划；长流程执行；它就不再是一个简单接口，而是一个复杂的软件系统。而复杂系统必须拥有：监控。追踪。分析。优化。Langfuse、Opik等工具正在帮助开发者打开Agent黑盒，让每一次：模型调用；工具执行；错误决策；都能够被发现和优化。可观察、可控制、可优化。
2026-07-27 17:08:19
189
原创 MCP协议实战：AI Agent不会调用工具怎么办？从0搭建自己的MCP Server
核心思想：Server不保存用户状态。每一次请求：携带完整上下文。例如：用户请求身份信息任务上下文工具参数↓MCP Server↓返回结果MCP的价值，不只是提供了一套新的通信协议。如何让AI安全、稳定、标准化地使用外部能力。当Agent开始连接：数据库、文件系统、企业服务、浏览器和各种API时，没有统一工具协议，开发成本会越来越高。MCP让AI工具调用从“每个项目重新造轮子”，变成“一套协议连接整个生态”。
2026-07-27 17:06:33
191
原创 AI Agent上线后的第一个大坑：它为什么开始“不听话”？
开发者不知道它为什么这么回答。当Agent从Demo进入真实业务环境：错误定位、成本控制、安全审计、效果优化都会成为核心问题。Langfuse、Opik等工具的价值，就是打开Agent黑盒，让开发者看到：它思考了什么。调用了什么。为什么失败。如何优化。未来优秀的AI应用，不只是拥有强大的模型，而是拥有一套完整的工程体系。而Agent可观测性，正是这套体系中不可缺少的一环。
2026-07-26 15:34:15
239
原创 AI Agent不是会回答就够了：用Langfuse打造可调试、可监控的生产级智能体
简单来说：AI Agent 可观测性就是记录 Agent 运行过程中的所有关键事件。AI Agent 最大的问题，不是不会思考，而是我们看不到它如何思考。当 Agent 从 Demo 进入生产环境，调试、监控、安全和成本控制会成为新的挑战。Langfuse、Opik 等可观测工具正在帮助开发者打开 Agent 黑盒，让每一次：模型调用；工具执行；决策路径；错误原因；都能够被记录和分析。可观察、可调试、可优化、可信任的软件系统。
2026-07-26 15:33:22
246
原创 Python 不再是 AI Agent 唯一选择？Kotlin + Koog 正在改变 AI 全栈开发
AI Agent 正在成为下一代应用的核心能力，而 Kotlin 的角色也正在发生变化。过去它是 Android 开发语言，现在它正在尝试覆盖客户端、服务端以及 AI Agent。当 AI 成为每个应用的基础能力时，你是否还需要维护一套独立的 Python Agent 服务？也许不用了。
2026-07-26 12:46:49
190
1
原创 Kimi K3实战体验：用一个大模型打造私人知识库AI Agent，它离真正智能助手还有多远？
Kimi K3真正值得关注的地方，并不是简单回答问题，而是在 AI Agent 时代，它能否成为复杂应用中的智能核心。未来的软件形态，很可能不是：“用户打开一个App，然后点击功能。而是：“用户告诉AI目标，AI自己调用工具完成任务。从知识库问答，到代码助手，再到个人智能体，大模型正在从聊天工具变成应用的大脑。对于开发者而言，下一阶段的重要能力不是训练模型，而是：利用模型、数据和工具，构建属于自己的AI Agent。而 Kimi K3 这样的长上下文模型，正在成为这一时代的重要基础设施。
2026-07-25 22:03:32
506
原创 Kimi K3代码能力深度测评：从写函数到构建AI Agent，它真的能成为程序员助手吗？
Kimi K3 的价值并不只是“写代码更快”，真正重要的是它正在向更加完整的软件开发助手方向发展。从代码补全，到项目理解，再到 AI Agent 架构设计，大模型正在逐渐进入开发流程核心环节。对于程序员来说，未来竞争力不只是会不会写代码，而是能不能利用 AI 构建更复杂的软件系统。Kimi K3 这类长上下文模型，正在成为 AI 编程时代的重要基础设施。如果未来 AI Agent 成为软件应用的新形态，那么能够掌握的开发者，将拥有更强的技术竞争力。
2026-07-25 22:02:44
197
原创 一文彻底搞懂 MCP：从协议规范到 AI Agent Server 开发实战
2026 年 7 月 28 日，MCP（Model Context Protocol）正式规范发布，标志着 AI Agent 的工具调用进入标准化时代。过去几个月，大模型的发展重点已经逐渐从模型能力本身转向 Agent 能力。越来越多的 AI 应用开始需要访问文件、数据库、浏览器、GitHub、企业知识库等外部资源。然而，不同工具拥有不同的 API、认证方式和调用协议，导致开发者需要为每个模型、每个平台重复适配。MCP 的出现，正是为了统一这一切。
2026-07-21 16:44:03
225
原创 KMP 全栈开发：从 Android 到 AI Agent，一套代码构建下一代智能应用
KMP 的意义，已经不再只是“一套代码，多端运行”。真正重要的是，它能够把应用最核心的业务能力——尤其是 AI 能力——统一到一个共享模块中。当你的应用需要同时运行在 Android、iOS、Desktop，甚至未来的 Web 时，你只需要维护一套 AI 引擎，就能够服务所有平台。可以预见，未来的软件开发将逐渐从“跨平台开发”演变为“跨平台 + AI”的全新范式，而 KMP 很可能会成为这一时代的重要基础设施。
2026-07-21 16:40:58
193
原创 从 Copilot 到 Agent—— 我的开发工作流正在被颠覆
三年前，我对 AI 编程工具的认知还停留在：敲一半函数，自动补全代码、生成注释、写简单工具方法。当时只把它当成高级代码提示器，能少敲几十行重复逻辑，仅此而已。但近一年，Code Agent 彻底改写了我的整套研发流程：它能读懂需求 Issue、自动拉分支改代码、修复线上 Bug、生成完整单元测试、提交 PR 并附带改动说明，甚至自主排查接口报错、优化 SQL 慢查询。AI 不再只是 “辅助敲代码” 的工具，而是能独立承接完整开发任务的协作智能体。
2026-07-21 16:30:38
178
原创 企业级 RAG 高并发工程化部署：向量库分片、缓存、限流、分布式架构实战
用户并发量上来，向量检索 QPS 打满，接口超时、响应延迟飙升；知识库百万、千万级 Chunk 单向量库内存溢出、查询卡顿；Embedding 服务、LLM 推理重复计算，算力成本居高不下；无限流、熔断机制，突发流量直接打垮后端服务；多机部署知识库不同步，增量更新冲突，线上问答结果不一致。Demo 级单机 RAG 只能支撑少量测试用户，面向企业内部千人、对外公网 C 端用户，必须一套完整分布式工程架构。
2026-07-17 16:42:13
207
原创 RAG 评估体系实战：从零搭建自动化评测平台，数据驱动迭代优化
不知道优化到底有没有效果。传统优化全靠人工主观判断：“这次回答好像好一点”“幻觉变少了”，没有量化数据支撑，分块策略、Embedding 模型、重排参数来回切换，无法判断哪种组合最优，上线后出问题也定位不到是检索差还是生成幻觉。企业级 RAG 必须建立自动化评测体系，用统一指标量化检索、生成、端到端整体效果，批量对比不同优化方案，精准定位短板，形成「优化 - 评测 - 迭代」闭环。
2026-07-17 16:39:35
254
原创 彻底解决 RAG 落地 8 大核心痛点！全链路优化方案 + 实战避坑
在大模型落地场景中，RAG（检索增强生成）已然是企业知识库、智能问答、文档答疑的核心方案。相比于纯微调大模型，RAG 具备低成本、实时更新知识、可溯源、低幻觉的核心优势，成为绝大多数 AI 应用的首选架构。本地 Demo 效果完美，上线后准确率暴跌、问答错乱、上下文丢失、幻觉频发。看似简单的「检索 + 生成」流水线，在真实业务场景中漏洞百出。本文结合企业级 RAG 落地实战经验，全链路拆解传统 RAG 的 8 大核心痛点，针对每个问题给出根因分析 + 可落地优化方案 + 代码实战 + 避坑技巧。
2026-07-17 16:37:05
599
原创 CSS Flexbox 布局图解：看完这篇，弹性布局彻底不迷糊
✅ Flexbox 的容器与子项概念，主轴与交叉轴flex-wrapgapflexalign-selforder✅ 6 个经典实战场景：居中 / 导航栏 / 卡片列表 / 两栏布局 / 粘性底部 / Tab 栏。
2026-06-08 16:50:30
162
原创 JavaScript 是什么？为什么学它？一篇文章彻底说清楚
✅ JavaScript 是让网页"活"起来的编程语言，和 Java 没关系✅ 它与 HTML、CSS 三者是前端的"铁三角"✅ 它能做交互、动态内容、前后端开发、小程序……应用极广✅ 核心基础：变量、数据类型、函数、条件、循环、DOM 操作边学边动手，不怕报错，不跳过基础。
2026-06-06 15:15:43
423
原创 HTML+CSS零基础入门：从一个网页开始你的前端之旅
很多人觉得"写代码"很神秘，觉得那是理科生、计算机专业的事。但事实上，HTML 和 CSS 是所有编程语言里入门门槛最低的，没有之一。一台电脑（Windows 或 Mac 都行）一颗愿意敲代码的心大概两三个小时前面学的知识，现在来综合运用。我们一起做一个好看的个人介绍页面。恭喜你！✅ HTML 的完整骨架结构✅ 10+ 个常用 HTML 标签✅ CSS 三种写法及推荐用法✅ 标签、类、ID 等核心选择器✅ 字体、背景、盒模型、Flex 等核心属性。
2026-06-05 17:47:38
327
前端毕业设计+HTML5+JavaScript+Canvas+贪吃蛇小游戏+完整源码+设计文档
2026-03-18
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人