- 博客(133)
- 收藏
- 关注
原创 InnoDB 为什么不用跳表,Redis 为什么不用 B+树?一场“磁盘”与“内存”的终极对决
MySQL InnoDB 选用 B+树因磁盘 I/O 约束,其高扇出、低树高与页对齐特性极大减少寻道次数;而 Redis Zset 选跳表则因内存场景下无需顾虑 I/O,跳表实现简单、内存开销小、写入高效且范围查询能力不弱。二者本质是“磁盘”与“内存”差异下的最优权衡:B+树胜在降低磁盘访问,跳表赢在轻量与可维护性。
2026-10-15 21:09:59
186
1
原创 100 亿数据下,INT 二级索引到底有几层?
100亿数据的INT二级索引在InnoDB中通常仅需4层B+树,因每页可存约1000条记录(扇出率1000),三层可达10亿,四层达1万亿。前3层目录可全缓存于内存,查询时最多1次磁盘I/O,实现毫秒级响应。核心在于小字段(INT 4字节 + BIGINT 8字节)与高扇出率带来的指数扩容能力,是高性能索引设计的关键。
2026-10-15 21:09:45
95
原创 深度拆解 Jev 模型:扒开“系统一模型”的底层工作原理
Jev模型因突破传统大模型的自回归生成机制而爆火。它通过专用决策头、单次前向传播与物理级类型安全,实现70ms内完成结构化输出,错误率趋近于零。结合RLCD训练法,其置信度高度校准,可精准支持自动决策。在智能体路由、金融风控、日志分类等场景中显著提升效率与稳定性,成为大模型的“前哨站”与“分流阀”。
2026-10-09 20:06:30
204
1
原创 你问我40亿个QQ号限制1G内存如何去重?别一上来就背八股,里面有诈!
面对40亿个10位QQ号去重且仅限1G内存的难题,看似可用BitMap解决(476MB),实则因最大值达100亿,需1.16GB内存而超限。关键误区在于:BitMap大小取决于取值范围而非数据量。破解之道是“两遍扫描法”——将数据按50亿分界,分两次处理,每次仅用约596MB内存,通过流式读取与偏移打点,最终在1G内完成去重,兼顾空间效率与工程可行性。
2026-10-09 20:06:06
203
4
原创 【聊一聊场景思路】:订单超时关闭与支付成功同时发生,如何做到资金与状态的一致性?
本文探讨订单超时关闭与支付成功并发时的资金与状态一致性问题。通过构建不可逆终态的状态机模型,结合分布式锁与数据库CAS乐观锁双重控制,确保事务原子性。若关单优先,强制原路退款,杜绝“复活订单”带来的超卖与风控风险。依托资金恒等式与实时、日终多层对账机制,实现资损兜底,保障交易系统在极端并发下的可靠性与金融级安全。
2026-09-30 17:25:59
354
2
原创 深入剖析 Redis ZSet:从底层机制到排行榜、朋友圈与延迟队列的工程落地
本文深入剖析Redis ZSet的底层原理与五大高频应用场景:基于跳表与字典的高效结构设计,支撑实时排行榜(同分排序、周期聚合)、朋友圈Feed流(推拉模式与游标分页)、分布式延迟队列(原子消费与重试机制)、滑动窗口限流(毫秒级精准控频)及搜索补全(字典序检索)。通过ZSet在空间换时间的双结构优化与Lua脚本保障原子性,实现高性能、低复杂度的工程解法,揭示其在高并发系统中“去重+排序+区间查询”三位一体的核心优势。
2026-09-19 23:10:51
284
4
原创 重新定义 Agent 基建:Redis 在现代 AI 与智能体系统中的工程实践
本文探讨Redis在AIAgent系统中的核心作用,从智能体记忆网络、语义缓存、多Agent协同到限流防护,构建了基于Redis的实时上下文引擎与记忆中枢。通过三层记忆架构、向量搜索实现语义缓存、Redis Streams支撑异步编排,结合原子限流与高可用设计,有效解决Agent系统的高延迟、高成本与状态脆弱问题。文章强调,合理利用Redis可将非确定性的LLM能力转化为稳定、高效的工业级AI基础设施,是推动AIAgent工程化落地的关键技术基石。
2026-09-19 19:54:14
528
3
原创 深入浅出:如何编写高质量的 AI Agent 技能(Skill)
文章摘要: 本文探讨了如何设计高质量的AI Agent Skill,以提升大模型在工业级开发中的效率。Skill作为模块化功能单元,采用三层渐进式架构(元数据、执行、深层按需加载),减少Token消耗。编写Skill需遵循三大原则:元数据精准、仅添加特定增量、优先使用脚本而非Prompt约束。文章还介绍了5种常见Skill设计模式(工具包装器、生成器、评审器、反转交互、流水线),并以开发前端组件Skill为例,展示了从需求确认到代码校验的完整流程。通过优化Skill设计,开发者可以更好地利用AI能力,提升开
2026-07-18 19:46:28
467
8
原创 从单机定时到分布式调度:深度剖析 XXL-JOB 的架构设计、核心机制与生产实战
本文深入解析分布式任务调度框架XXL-JOB的核心设计与应用实践。文章首先对比单机定时任务的局限性(单点故障、重复执行、管理困难),指出分布式架构下XXL-JOB的解决方案优势。其核心采用调度中心(Admin)与执行器(Executor)解耦设计,通过数据库行锁实现精准调度,支持快慢线程池隔离和分片广播等路由策略。实战部分演示了SpringBoot集成XXL-JOB的配置方法和任务处理器编写,并给出生产环境避坑指南(幂等性、连接池配置、注册延迟等)。最后通过横向对比主流调度框架,说明XXL-JOB在轻量级、
2026-07-16 21:11:08
469
3
原创 拒绝盲目扩容:深度解析 MQ 消息积压的定位、应急止血与系统级治理
文章摘要: 针对MQ消息积压问题,本文提出系统性解决方案:1. 科学估算:通过公式(积压量/(C-P))评估清理时间;2. 精准定位:分析RabbitMQ指标(如未ACK消息、发布/消费速率)判断瓶颈;3. 应急处理:优先限流降级、扩容消费者(评估下游承载力)、优化Prefetch值及消费逻辑;4. 架构优化:单队列性能不足时采用分片设计(如Hash路由);5. 预防体系:监控消息年龄、设置队列容量限制,按场景选择队列类型(QuorumQueue/Stream)。核心原则是在保护下游系统的前提下恢复消费速率
2026-07-16 20:42:12
485
3
原创 别再手写 Prompt 了:一文讲透 Loop Engineering(循环工程)的控制论架构与自愈闭环
本文介绍了AI编程领域的新范式——循环工程(Loop Engineering),分析了其核心架构和落地方法。文章指出,随着AI编程从单次交互转向长期自律运行,传统人工提示模式已无法满足需求。循环工程通过构建包含触发器、目标定义、上下文管理、工具调用、验证器和熔断机制六大要素的闭环系统,实现AI的自主运行和自我纠错。作者强调优秀的循环系统需具备可终止性、可观测性和可恢复性三大特性,并认为未来程序员的核心工作将转向设计这些自律运行的控制系统,使AI开发回归软件工程本质。
2026-07-13 21:48:31
642
15
原创 Agent 生产落地的“硬约束”:深度解码 Harness Engineering 六层架构与闭环自愈设计
本文介绍了Harness工程(驾驭工程)作为Prompt工程和Context工程之后的又一重要AI工程规范。文章指出,尽管大模型能力快速提升,但在真实业务场景中,AI Agent仍面临输出不稳定、易跑偏等问题。Harness工程通过建立六层架构体系(信息边界层、工具系统层、执行编排层、记忆与状态层、评估与观测层、约束校验与恢复层)来提升Agent的稳定性和可靠性。文章还通过一个数据清洗Agent的Java代码示例,展示了如何实现自动纠错和反馈机制。作者强调,未来的AI工程核心竞争力在于构建可靠的Harnes
2026-07-13 15:02:16
1052
11
原创 别再凭感觉调优了!一文读懂 RAG 系统的黄金评估法则与量化调优实践
本文探讨了RAG(检索增强生成)系统的评估与量化方法。文章指出,仅凭主观感受评估RAG系统存在诸多隐患,提出应将评估拆分为检索层和生成层两个独立维度。检索层主要通过Hit@K和MRR指标衡量召回效果;生成层则采用RAGAs框架,从忠实度、答案相关性等四个维度进行量化评估。作者还提供了线上指标监控、常见问题定位与优化策略,强调要建立离线与线上结合的闭环评估体系,实现RAG系统的持续优化。文章系统性地介绍了如何将主观评估转化为可量化的指标体系,为RAG系统的生产落地提供了实用指导。
2026-07-10 17:30:53
343
4
原创 如何打破 RAG 系统的精度天花板?系统性检索优化策略全解析
本文系统性地介绍了检索增强生成(RAG)技术的四层优化框架,旨在解决实际应用中常见的"幻觉严重"、"回答不相关"等问题。四层架构包括:索引层(采用父子分块、摘要索引等方案解决检索粒度与上下文完整性的矛盾)、查询层(通过改写、多查询扩展等方法消除用户口语与知识书面语的鸿沟)、召回层(结合向量检索和关键词检索的多路召回机制)以及重排序层(使用交叉注意力模型进行精排)。文章还针对不同业务场景提供了优化配置建议,强调RAG系统优化需要系统性思维而非零散调整。
2026-07-10 16:50:56
341
2
原创 大模型时代的内存管理学:上下文工程(Context Engineering)深度实践指南
本文探讨了上下文工程(Context Engineering)在大型语言模型(LLM)应用中的重要性及其与提示词工程(Prompt Engineering)的区别。上下文工程关注如何高效管理和优化模型的输入窗口,解决生产环境中Agent面临的遗忘、信息冗余和成本控制等问题。文章详细介绍了上下文装配引擎(Context Assembler)的设计与实现,强调排序和注意力布局对模型性能的影响。此外,还分析了预检索与按需加载(JIT)策略的优缺点,并提出混合策略的实践建议。针对长任务场景,文章提出了上下文代谢机制
2026-06-23 18:14:21
539
14
原创 提示词工程(Prompt Engineering)完全指南:从零到生产级 Agent 的范式转型
本文系统性地介绍了LLM时代提示词工程(Prompt Engineering)的核心原理与实践方法。文章首先阐述了提示词从简单"聊天技巧"到复杂Agent控制接口的范式跃迁,接着梳理了提示词架构的四个演进阶段:静态Prompt、RAG增强式、工具调用式和受控编排式。然后详细分析了四种主流架构设计模式及其适用场景,并提出了五项核心工程实践:明确任务边界、配置化管理、结构化约束、控制上下文长度和精准Few-shot示例。文章还总结了四大常见误区,并最终提出将提示词工程纳入系统工程的三个终极范
2026-06-23 12:10:47
667
14
原创 构建健壮软件系统的基石:深入解析面向对象设计七大原则
本文介绍了面向对象设计的七大核心原则:1. 单一职责原则(SRP):一个类只应承担一项职责 2. 开放封闭原则(OCP):对扩展开放,对修改关闭 3. 里氏替换原则(LSP):子类必须能完全替代父类 4. 依赖倒置原则(DIP):高层模块和低层模块都应依赖抽象 5. 接口隔离原则(ISP):接口应小而专,避免冗余 6. 迪米特法则(LoD):减少对象间的直接耦合 7. 合成复用原则(CARP):优先使用组合而非继承 通过代码示例对比了违反原则和遵循原则的实现方式,强调这些原则相互关联,共同构建高内聚、低耦合
2026-06-10 14:02:29
305
17
原创 从有限状态机到智能体图:传统 FSM 与 Agent Graph的演进
本文探讨了Graph框架在大模型智能体开发中的核心价值与应用实践。文章首先分析了传统线性编排框架的局限性,指出图结构在支持循环回溯、动态决策等复杂认知任务时的独特优势。通过对比DAG、FSM和Agent Graph的本质差异,系统阐述了图编排的五大核心要素:状态管理、原子节点、智能路由、持久化机制和人工干预。文章提供了Python(LangGraph)和Java(SpringAIAlibabaGraph)两个生态的完整实现方案,通过SQL自我纠错智能体的案例演示了图结构如何支持错误回溯与自动修复。最后,针对
2026-06-10 13:14:35
644
20
原创 不止于 Markdown,揭秘企业级 AI Coding 完整落地体系
企业级AICoding体系解析:从单兵作战到工业化研发 本文系统阐述了大厂落地AICoding的八大核心体系,提出"文件治理+流水线驱动"的AI软件工程方法论。通过文件层约束、代码层防护、IDE管控、CI/CD卡点等机制,构建完整的AI编码治理框架。重点包括:结构化元规则文件系统、防AI暴走的代码约束、多智能体协同调度、私有知识库投喂等关键实践。该体系实现了从AI代码生成到质量管控的全流程闭环,确保千人团队在提升效率的同时,保障代码质量与架构规范。文章最后预告将深入解析项目上下文协议(P
2026-05-19 11:45:41
847
16
原创 深度解析 AI 时代的“TCP/IP协议”:Agent-to-Agent (A2A) 通信架构与多智能体协同底层逻辑
大家好,这里是程序员阿亮!今天来给大家讲解一下A2A协议!在前两篇文章中,我们深度探讨了 MCP(模型上下文协议),它就像是 AI 时代的“USB-C 接口”,让一个大模型(Agent)成功长出了手和眼睛,能够精准地操作外部数据和工具。但是,孤木不成林。随着任务复杂度的指数级上升,我们发现:无论一个模型有多聪明、手里的工具(MCP Server)有多全,它终究只是一个**“单体大脑”。让一个 Agent 同时兼任产品经理、资深程序员、代码测试员和运维专家,它必定会陷入“精神分裂”和上下文混乱。
2026-05-17 22:52:47
2993
36
原创 万字深度实战!AI Agent 接入万物的底层密码:MCP 协议传输机制与开发指南(下篇)
本文深入解析了ModelContextProtocol(MCP)的传输机制与开发实践。MCP通过JSON-RPC2.0协议实现消息传输,支持两种方式:本地stdio通信(零网络攻击面)和远程HTTP+SSE通信(适合企业环境)。文章详细介绍了如何在自研Agent中集成MCP,包括初始化、能力同步、推理循环中的工具调用等核心流程,并重点讲解了MCP的杀手锏特性——Server反向调用大模型的Sampling功能。最后展示了繁荣的MCP生态全景图,包括各类现成的能力库和主流客户端的深度整合。MCP作为AI领域的
2026-05-17 21:28:33
940
8
原创 万字深度解析 AI 时代的“USB-C接口”:Model Context Protocol (MCP) 核心架构与底层逻辑
大家好,这里是程序员阿亮!今天来给大家讲解一下MCP!想象一下,如果在计算机诞生的早期,你买的每一个鼠标、键盘、打印机,都需要你专门为它们定制一个专属的接口插槽,那将会是怎样的灾难?今天的 AI 应用开发,正处于这样一个“接口灾难”的蛮荒时代。为了让大模型访问本地文件、查询数据库、调用 GitHub API,开发者们正在重复编写无数的“胶水代码”。直到 Anthropic 牵头推出了。这不仅仅是一个协议,它是 AI 应用迈向标准化的“破局者”。
2026-05-17 16:21:59
866
5
原创 【架构实战】百万级Excel数据导入的“坑”与“填坑”指南(下):多线程与批量入库全代码实战
本文介绍了使用EasyExcel实现百万级Excel数据导入的实战方案。通过多线程并发读取多Sheet、分批处理数据、数据库批量插入等技术手段,解决了OOM、性能低下和错误处理三大难题。核心实现包括:1)自定义ReadListener进行数据校验和分批处理;2)使用线程池并发解析多Sheet;3)MyBatis批量插入优化I/O性能。方案采用分批短事务、失败重试和脏数据日志补偿等策略确保系统稳定性,实测百万数据导入耗时约100秒。关键注意事项包括线程池与数据库连接池的配置平衡、Listener状态隔离以及数
2026-05-17 15:24:56
475
6
原创 【架构实战】百万级Excel数据导入的“坑”与“填坑”指南(上):痛点剖析与破局利器 EasyExcel
本文探讨了百万级Excel数据导入的技术挑战与解决方案。传统Apache POI处理大文件时存在内存溢出、性能低下和错误处理脆弱三大问题。作者提出采用阿里开源的EasyExcel工具,通过流式读取和事件驱动回调机制实现内存优化,结合多线程并发处理和数据库批量插入提升性能,并采用"跳过+记录日志"的容错策略。文章分为上下两篇,本篇重点分析问题本质和EasyExcel工作原理,下篇将展示具体代码实现方案。该方案可有效解决企业级系统中大规模Excel数据导入的痛点。
2026-05-15 23:19:50
378
5
原创 深入研究Java Agent生态:SpringAI 与 SpringAIAlibaba核心能力、架构演进与全场景对比研究
本文探讨了Java生态中SpringAI和SpringAIAlibaba两大AI工程化框架的技术特点与选型策略。SpringAI作为基础框架提供统一的AI接口抽象,而SpringAIAlibaba则专注于企业级多智能体编排和云原生集成。文章详细分析了两者在架构理念、核心交互链路、工具调用、RAG体系及安全治理等方面的差异,指出SpringAI适合轻量级场景,而SpringAIAlibaba更适合复杂关键任务系统。最后强调在AI时代,开发者应关注工程能力提升而非语言选择焦虑,充分利用Java生态优势构建稳健的
2026-05-15 17:32:43
867
7
原创 构建拥有“数字海马体”的AI:Agent智能体记忆体系深度解析
本文探讨了构建智能Agent记忆系统的关键设计。作者从认知科学角度将Agent记忆划分为工作记忆、长时记忆(情景/语义记忆)和程序性记忆三大子系统,并提出四层架构方案:基础设施层定义数据结构,核心逻辑层管理记忆流转,操作评估层实现记忆生命周期管理,存储后端层采用多态数据库方案。文章详细描述了记忆的动态流转过程,包括基于多维度的记忆检索机制和异步持久化策略。通过这种仿生记忆体系设计,可使Agent具备跨会话连贯性和自我进化能力,从而更好地执行复杂任务。
2026-05-14 01:00:39
480
3
原创 进程线程协程?一文解决!
摘要: 本文解析了进程、线程和协程的核心概念。进程是资源分配的最小单位,拥有独立的地址空间;线程是CPU调度的最小单位,共享进程资源但拥有独立的执行状态;协程是用户态的轻量级线程,由程序员控制,切换成本极低。三者各有优劣:进程隔离性强但开销大,线程适合多核计算但需处理同步问题,协程则擅长高并发IO任务。理解这些概念有助于根据场景选择合适的技术方案。
2026-04-25 17:11:50
479
3
原创 不懂操作系统(OS)?给新手的操作系统 (OS) 漫游指南:计算机的“幕后大管家”
《操作系统:计算机世界的幕后总经理》用餐厅比喻生动解析了操作系统的核心功能:1. 进程管理像厨师分时处理多任务;2. 内存管理如同厨房操作台的空间调配;3. 文件管理系统相当于智能档案柜;4. 设备管理担任硬件翻译官。文章还介绍了用户态/内核态的安全机制,以及Windows、macOS等常见系统。通过生活化类比,帮助读者理解操作系统如何协调硬件资源,为应用程序提供运行环境,是计算机科学入门的重要基础知识。
2026-04-25 16:40:29
404
3
原创 Spring AI 全链路实战:带你从零基础到手搓完整 Agent 项目---ChatMemory&RAG
本文介绍了SpringAI中的ChatMemory和RAG模块。ChatMemory部分详细讲解了LLM的无状态性、记忆存储模式(窗口记忆、摘要记忆、向量记忆)及其实现方式,包括内存、数据库和Redis存储配置。RAG部分阐述了检索增强生成的流程,包括查询转换、文档检索、提示生成等核心组件,并提供了SpringAI中的API实现示例。文章还展示了如何将这两个模块应用于实际的知识库问答系统,实现多轮对话、权限控制和来源引用等功能。最后作者表示将继续探索LangChain等技术,开发具有实际业务需求的Agent
2026-04-24 23:47:59
745
3
原创 Spring AI 全链路实战:带你从零基础到手搓完整 Agent 项目---向量数据库&文档处理
本文介绍了SpringAI框架中的向量数据库和文档处理模块。向量数据库部分讲解了向量概念、相似度计算、索引技术以及SpringAI支持的多种向量数据库实现(如PGVector、Redis等),并详细说明了核心API的使用方法,包括文档添加、相似性搜索、过滤搜索等操作。文档处理模块阐述了AI时代ETL管道的特殊性,重点分析了分块策略的核心权衡和元数据价值,同时提供了PDF、Markdown等文档读取器的实现示例,以及文档分块、转换等处理流程的完整代码实例。文章通过具体API示例展示了如何在SpringAI应用
2026-04-11 22:17:39
792
2
原创 Spring AI 全链路实战:带你从零基础到手搓完整 Agent 项目---SpringAI介绍与Model模块
本文介绍了SpringAI框架及其核心模块Model的使用方法。SpringAI是Spring官方推出的AI应用框架,旨在简化企业级应用中集成大语言模型的复杂度。文章重点讲解了Model模块的核心API,包括ChatClient和ChatModel两种调用方式,并详细演示了基础对话、系统消息、多轮对话、流式输出、结构化输出等功能。通过一个客服系统实战案例,展示了如何实现记忆管理、工具调用和意图识别等高级功能。该框架支持多种大模型接口,为开发者提供了便捷的AI集成方案。
2026-04-11 19:40:37
658
3
原创 深入浅出TCP拥塞控制:研究拥塞控制的底层逻辑
摘要:TCP拥塞控制算法通过动态调整发送速率来防止网络拥塞崩溃。其核心包括慢启动(指数增长)、拥塞避免(线性增长)、快速重传(立即重传丢失包)和快速恢复(温和降速)四个阶段。算法通过cwnd和ssthresh两个关键参数,采用AIMD原则:探测到空闲带宽时加法增加,检测到丢包时乘法减少。当发生超时重传时会严厉降速,而收到3个重复ACK则触发快速恢复机制。这种自适应机制有效平衡了网络利用率和稳定性,是互联网可靠传输的重要保障。(149字)
2026-04-07 20:29:43
469
3
原创 Agent知识手册----一文带你研究透!
本文系统介绍了AI Agent的核心概念与技术架构。首先定义了Agent作为一种智能系统范式,对比了传统程序、聊天机器人与AI Agent的区别。文章梳理了Agent的技术演进历程,从符号主义到统计学习再到LLM驱动的现代Agent。重点阐述了Agent的RAPT四大特征(反应性、自主性、主动性、社会性)和四要素架构(LLM大脑、规划、记忆、工具)。详细讲解了关键算法模式包括思维链(CoT)、ReAct范式和工具调用,以及多Agent协作理论。最后探讨了评估指标和安全风控体系,包括任务成功率、答案质量评估以
2026-04-07 14:37:28
717
1
原创 深入研究RAG: 在线阶段-查询&问答
本文介绍了RAG系统在线阶段的核心流程与优化策略。主要包含七大环节:1)查询预处理(拼写纠错、多轮对话融合);2)问题向量化(需与离线阶段模型一致);3)相似检索(结合ANN算法与混合检索);4)重排序(使用Cross-Encoder提升精度);5)提示词组装(上下文压缩与防注入);6)LLM生成(流式输出与模型路由);7)答案溯源(引用标注与幻觉检测)。文章重点剖析了各环节的工程化考量,包括延迟控制、缓存机制、混合检索等关键技术,并指出RAG系统通过"检索-增强-生成"的闭环显著提升大
2026-04-06 02:01:24
400
1
原创 深入研究RAG: 向量数据库 原理&选型
本文系统讲解了向量数据库的存储与检索策略。首先区分了向量与嵌入的概念,指出向量数据库存储的是数值化向量而非嵌入过程。接着对比精确搜索(KNN)与近似搜索(ANN)的优缺点,强调企业需在召回率和延迟间取得平衡。重点分析了四大主流ANN算法:基于树的结构、哈希、聚类和图(HNSW),指出HNSW因其高性能成为当前主流。文章还对比了pgvector、Milvus等数据库的特性,并给出选型建议:小规模数据选pgvector,大规模选Milvus或Qdrant,云服务考虑Pinecone。最后提出落地时的关键问题,包
2026-03-30 20:45:45
431
2
原创 深入研究RAG: Embedding(向量化)
本文介绍了RAG流程中的向量化(Embedding)技术,详细讲解了如何将文本转换为计算机可理解的数字向量。文章首先解释了向量化的概念及其重要性,通过几何空间中的向量距离来体现语义相似度。随后剖析了Embedding模型的四大核心组件:分词器、编码器、池化层和归一化处理。在实战部分,对比了云端API和开源本地模型的选型策略,并给出了三大避坑警告。此外,还介绍了套娃嵌入、多向量检索等高级技术,以及如何在SpringAI中集成Embedding功能。最后强调了通过权威榜单和可视化工具评估模型效果的重要性。全文为
2026-03-30 10:49:31
661
1
原创 深入理解RAG:文本分片(Chunking)
本文深入探讨了RAG系统中的文本分片与向量化技术。文章首先分析了分片的必要性,包括防止语义稀释、适配模型输入限制、优化LLM注意力机制以及降低噪声和成本。随后详细介绍了五种主流分片策略:固定长度分片(不推荐)、递归字符分片(工业标准)、语义分片(高质量)、父子分片(复杂文档)和结构感知分片(特定格式)。文章重点阐述了分片参数调优方法,包括分片大小、重叠比例和分隔符设置,强调应根据实际场景选择合适参数。最后提出了科学的调优方法论,建议通过构建黄金测试集、评估关键指标和进行A/B测试来优化分片效果。
2026-03-28 23:25:11
737
2
原创 深入研究RAG:总体流程与文档解析
本文介绍了RAG(检索增强生成)技术及其核心流程,重点讲解了文档解析环节。RAG通过检索外部知识库来增强大语言模型(LLM)的响应准确性。文档解析作为RAG的第一环节,将PDF、Word等原始文件转换为可处理的文本和元数据。文章详细分析了解析面临的挑战(格式多样性、布局复杂性、内容噪声)和解决方案(OCR处理扫描文件、表格Markdown化、多栏布局分析等),并以SpringAI为例展示了文档解析的实现方式。作者强调合理处理元数据和内容清洗对RAG效果至关重要,并预告将继续深入讲解RAG的其他流程环节。
2026-03-28 16:24:35
895
1
原创 详解AI时代必懂概念之:Multimodal、Multi-Agent、Fine-Tuning(微调)
读到这里,您的大脑中应该已经形成了一幅极其清晰、高度专业的现代 AI 架构工程图:在最底层,是构建了并行计算的神经网络结构;为了解决算力极限,架构师们引入了MoE(混合专家);为了让它拥有逻辑深度,加入了CoT(思维链)的推理机制;为了让它能听能看,进化出了原生多模态(Multimodal);为了解决它知识陈旧的短板,我们用RAG给它挂载了实时数据库;为了让它懂特定行业的规矩,我们用LoRA对它进行了低成本微调;最后,为了让它去执行复杂的真实世界任务,我们把它封装成Agent。
2026-03-26 23:19:52
439
3
原创 详解AI时代必懂概念之:RAG、MoE、CoT
AI时代三大核心技术解析:RAG解决知识局限,MoE优化算力效率,CoT提升推理能力。RAG通过外挂知识库减轻AI幻觉,MoE采用稀疏激活降低计算成本,CoT则让AI具备分步推理能力。这些技术分别应对了AI的知识截断、算力瓶颈和直觉思维三大痛点,正在推动AI向更智能、更高效的方向发展。
2026-03-26 23:07:17
878
2
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人
RSS订阅