- 博客(605)
- 资源 (14)
- 收藏
- 关注
RSS订阅原创 大模型SAPO强化微调完整实现过程
本文介绍了一个基于SAPO（Sequence-wise Advantage Policy Optimization）的数学问题求解模型训练框架。系统架构包含四个核心模块：1) 数据准备阶段，支持Parquet格式数据集加载与ChatTemplate格式化；2) 模型初始化模块，采用LoRA技术对Qwen3模型进行轻量化微调；3) 训练器配置，实现GRPO优化策略并设置SAPO特定参数；4) 复合奖励函数设计，结合格式合规性（0.1权重）和答案准确性（1.0权重）评估。训练流程包含自动日志记录、LoRA权重合
2026-04-18 15:43:34
32
原创 上线AGENT的网络、数据库，操作系统相关知识
TCP（传输控制协议）：面向连接、全双工、字节流传输，牺牲延迟换绝对可靠，是 Agent 核心通信协议UDP（用户数据报协议）：无连接、单向、数据报传输，牺牲可靠换极致低延迟 / 低开销，仅用于非核心上报脏读：事务 A 读取事务 B未提交的修改；B 回滚后 A 读到无效数据不可重复读：同一事务内，两次 SELECT 同一条数据，结果被其他事务修改幻读：同一事务内，两次范围查询，行数新增 / 减少（其他事务插入 / 删除）进程是操作系统资源管理的独立实体，Linux 中。
2026-04-15 11:23:22
34
原创 Can Indirect Prompt Injection Attacks Be Detected and Removed?（ACL 2025）
本文提出首个针对大语言模型间接提示注入攻击的端到端防御方案。通过构建包含1800个样本的Inj-SQuAD/Inj-TriviaQA评估基准，系统分析了5种主流攻击模式。研究创新性地提出分段移除和提取移除两种方法，在检测阶段实现99.12%准确率，移除阶段对尾部注入攻击达到94.66%移除率。实验表明，该方法将攻击成功率降至3%以下，且不影响模型正常功能，填补了间接PIA防御领域的研究空白。
2026-04-15 10:42:05
71
原创 Hermes Agent深度解析
"""AI Agent 核心类 - 管理完整的对话生命周期职责范围:1. 对话状态管理：维护消息历史、迭代计数、API 调用统计2. 工具协调：发现工具、执行工具、处理结果3. 上下文管理：注入记忆、技能、文件上下文4. 故障恢复：重试逻辑、凭证轮换、连接池管理5. 性能优化：Prompt Caching、上下文压缩、客户端复用设计理念:- 同步执行：主对话循环完全同步，简化并发模型- 组件化：记忆、工具、上下文等都是可插拔组件- 可观测：详细的日志、指标、轨迹记录。
2026-04-14 11:27:20
206
原创 Agent深度问题
文章摘要： 本文系统性地探讨了AI智能体架构中的三个关键技术点： Skills与SubAgent的差异：Skills是原子化的执行工具，无自主决策能力；SubAgent则是具备完整推理能力的专项智能体，可独立处理复杂任务。二者形成互补的能力分层体系。 RAG与记忆机制的区别：RAG聚焦当前问题的知识增强，通过向量检索补充外部证据；记忆机制则管理长期交互状态，包含写入、更新、遗忘等动态过程。二者共享技术组件但承担不同系统职责。 LightRAG的架构创新：通过取消GraphRAG的社区发现机制，采用扁平化双路
2026-04-10 12:03:29
48
原创 OpenHarness代码解读
Harness 是包裹在大模型之外、为其赋予完整执行能力的全套基础设施。模型负责提供智能与推理，Harness 则为模型提供感知、行动、记忆、工具与安全约束，使其从语言模型变成可自主完成复杂任务的实用智能体。我这里把向量数据库方案定义为：把对话片段、事件、偏好、工具结果等切成 memory chunks，做 embedding，存进向量库，查询时靠 ANN 相似度召回，再交给 LLM 读。AAAI 的综述类论文就明确指出，很多 LLM agent 的长期记忆就是这么做的。AAAI 期刊把文件系统方案。
2026-04-09 21:25:24
95
原创 Harness Engineering 完整详解
Framework：给你模型、工具、middleware、agent loop 这些抽象；Runtime：给你 durable execution、streaming、持久化、human-in-the-loop 这些运行时能力；Harness：在前两者之上，提供一套更“带电池”的、偏 opinionated 的 agent 组合能力，比如待办规划、子代理委派、文件系统、token 管理等。Deep Agents 就属于这一层。所以你可以把。
2026-04-05 16:06:13
84
原创 Agent Lightning: Train ANY AI Agents with Reinforcement Learning
摘要： AgentLightning提出了一种基于马尔可夫决策过程（MDP）的强化学习框架，解决现有LLM Agent训练中的耦合性与扩展性问题。其核心创新包括：1）统一数据接口，将复杂Agent执行逻辑抽象为标准化Transition序列；2）LightningRL算法，通过信用分配将多轮RL转化为单轮任务，兼容现有RL技术；3）训练-Agent解耦架构（TAD），支持零代码修改的高吞吐量训练。实验表明，该框架在Text-to-SQL、多跳RAG和数学工具任务中平均提升性能27.7%，且适用于LangCh
2026-04-04 15:17:32
40
原创 Just Ask— 好奇代码智能体可提取前沿大模型系统提示词
攻击者目标：高保真提取目标模型系统提示词的完整语义内容，而非仅零散片段；攻击者先验知识：仅知道目标是可通过聊天 API 访问的 LLM，无任何关于系统提示词内容、模型架构、防御机制的先验信息；攻击者能力：仅拥有标准聊天 API 的访问权限，可发送任意文本输入、观察模型的文本输出；无模型权重、logits、注意力权重、内部状态的访问权限；仅受商用 API 的速率限制和成本约束；成功判定标准：提取结果的一致性得分≥0.7（后续有完整计算逻辑）。论文设计了分层技能分类体系。
2026-04-03 16:32:24
25
原创 RETHINKING LLM-AS-A-JUDGE: REPRESENTATIONAS-A-JUDGE WITH SMALL LANGUAGE MODELS VIASEMANTIC CAPACIT
本文提出了一种基于语义容量不对称假说的新型评估范式Representation-as-a-Judge，并开发了INSPECTOR框架。研究发现小模型的内部表征已编码充足评估信号，仅需冻结权重提取特征并训练轻量分类器，即可实现高性能评估。实验表明该方法在数学推理、科学问答等任务中F1值提升显著，部分维度达96%，且0.6B小模型性能超越8B模型。该方法无需解码生成，评估成本降低数个数量级，为LLM评估提供了高效可解释的新方案。
2026-03-28 11:36:16
34
原创 AICR : 智能化代码评审技术探索与应用
AICR（智能化代码评审）是腾讯云基于大模型技术打造的代码评审解决方案，针对传统人工CR存在的效率低、质量不稳定等痛点，提供智能识别问题、自动生成评审意见、修复建议等功能。其技术架构分为数据层（高质量CR数据处理）、模型层（RAG增强与精调对齐）和应用层（IDE插件与代码托管平台集成）。AICR通过解决高质量数据获取、领域知识融合和评估标准构建三大技术挑战，实现了评审全流程智能化升级，已在腾讯内部大规模应用并对外商业化。
2026-03-15 17:00:24
51
原创 OpenClaw 核心技术框架深度
OpenClaw 是 2026 年爆火的开源智能体框架，核心亮点为推理引擎与执行环境解耦，通过标准化协议实现复杂任务自主编排。其指令处理遵循标准化流水线流程，为五大核心技术环节，环环相扣且职责明确，构成了 OpenClaw 的核心运行体系，以下从这五个层面展开深度剖析。
2026-03-15 16:20:44
84
原创 LangGraph框架介绍
本文摘要：LangGraph框架构建AIAgent的核心机制包括状态管理、路由决策和工具集成。State作为共享数据结构在节点间传递信息，支持复杂功能实现。Router通过条件边实现逻辑分支，依赖结构化输出（Pydantic/TypedDict/JSONSchema）进行路径选择。ToolNode作为工具执行节点，需满足消息格式、模型指令等约束条件才能工作。框架还提供MemorySaver和SqliteSaver实现记忆功能，并通过断点机制支持人机交互（HIL），允许在关键节点暂停流程进行人工确认或编辑。这
2026-03-09 21:54:52
53
原创 CausalRAG: Integrating Causal Graphs into Retrieval-Augmented Generation
【摘要】本研究提出CausalRAG框架，通过因果图建模革新传统RAG系统。针对现有RAG存在的上下文断裂、语义相似度偏差及召回率-精度权衡问题，CausalRAG创新性地将因果路径追踪融入检索全流程。实验表明，在OpenAlex数据集上，CausalRAG以78%的答案忠实度、92.86%的上下文精度和49.46%的召回率全面超越主流RAG方法，首次实现了精度与召回率的同步提升。关键创新包括：离线构建文本因果图，在线检索时通过因果路径扩展捕捉长程依赖，并生成结构化因果摘要指导LLM生成。参数分析显示k=s
2026-03-02 10:23:50
35
原创 LinearRAG
本文提出LinearRAG框架，通过创新性的无关系三元图（Tri-Graph）结构解决传统检索增强生成（RAG）在多跳推理任务中的性能瓶颈。该框架摒弃了易出错的关系抽取环节，仅构建实体-句子-段落的层级关联，实现零LLM消耗的线性复杂度索引。在线检索采用两阶段策略：先通过局部语义桥接激活相关实体，再利用个性化PageRank进行全局段落重要性聚合。实验表明，LinearRAG在4个基准数据集上全面超越现有方法，在2WikiMultiHopQA上获得63.7%的GPT精度（相对提升3.8%），同时索引时间较最
2026-03-01 16:11:11
55
原创 Agent skills详解
让 AI 可以按需加载、自动匹配执行，彻底解决传统 Prompt 重复编写、上下文占用高、输出一致性差的痛点。通俗来讲，普通 Prompt 是每次都从头教 AI 做事，而 Skills 是给 AI 一套完整的「岗位操作手册 + 配套工具包」，只要触发对应场景，AI 就会自动按手册标准完成任务，无需重复描述需求。
2026-02-27 11:04:33
87
原创 DeepSeek OCR详解
DeepSeek-OCR系列是DeepSeek-AI推出的高效视觉语言模型，专注于通过视觉压缩技术优化OCR任务。初代模型DeepSeek-OCR采用独特的编码器-解码器架构，通过16倍视觉token压缩实现高精度文本识别，在保持97%OCR精度时可达10倍压缩比。升级版DeepSeek-OCR2创新性地引入"视觉因果流"机制，使模型能像人类一样按语义顺序处理文档内容，而非传统固定扫描模式。该模型在OmniDocBench基准上实现91.09%整体准确率，阅读顺序错误率降低32.9%，同
2026-02-26 10:44:34
65
原创 从GRPO到DAPO、GSPO和SAPO
在大语言模型的强化学习阶段，PPO 曾是主流方法，但其核心缺陷是强依赖价值模型。在长文本输出、复杂任务场景中，价值模型对长序列的价值估计会严重失准，导致算法泛化性、可扩展性极差。GRPO（Group Relative Policy Optimization）的核心突破是彻底摆脱了对价值模型的依赖，通过组内相对优势替代价值模型的优势估计，大幅提升了算法的可扩展性；但它在训练效率、稳定性，尤其是 MoE 架构适配性上仍存在显著缺陷，这也成为 DAPO 和 GSPO 迭代的核心出发点。
2026-02-25 20:54:25
621
原创 Qwen3-VL详解
Qwen3-VL是通义千问系列最新视觉语言模型，具备256K多模态上下文处理能力，支持文本、图像、视频融合输入。模型通过四大架构创新实现突破：交错式MRoPE优化位置编码、DeepStack增强视觉语言对齐、文本化时间戳改进视频时序建模、平方根损失平衡模态训练。采用四阶段预训练+三阶段后训练体系，构建了包含OCR、STEM、长文档等9大类数据的训练体系。实验显示，其235B-A22B版本在MathVista等视觉推理任务、MMLU-Pro等纯文本任务、OCRBench等文档理解任务上均达SOTA水平，8B小
2026-02-25 12:08:31
238
原创 Qwen3技术详解
Qwen3系列开源大语言模型是新一代旗舰产品，具备全尺寸、双模式、多语言和高推理能力等核心特性。该系列包含6款稠密模型（0.6B-32B）和2款MoE模型（30B/235B），参数量覆盖全场景，基于Apache2.0协议开源。创新性地在单模型内统一思考与非思考双模式，支持动态切换和自定义思考预算机制。预训练基于36万亿token超大规模语料，支持119种语言，上下文窗口最高128K，在数学推理、代码生成等任务上达到开源SOTA。通过强到弱蒸馏技术，轻量化模型能以1/10算力成本习得大模型能力。架构上采用分组
2026-02-24 20:18:53
250
原创 Gated Attention for Large Language Models: Non-linearity, Sparsity, and Attention-Sink-Free
本文系统研究了深度学习中的门控机制设计，揭示了其在注意力模型中的核心价值与生效机理。通过30余种门控变体实验，确定了最优方案：在SDPA输出后、多头拼接前施加头专属、逐元素、sigmoid激活的乘性门控。实验证明该设计在15B MoE和1.7B稠密模型上显著提升性能（PPL降低0.265，MMLU提升2.03），并解决训练不稳定性和长上下文外推问题。机理分析表明，查询依赖的头专属稀疏性是关键，能消除巨量激活和注意力沉底现象。该研究为门控机制设计提供了理论依据和实践指导。
2026-02-24 10:41:33
58
原创 DeepSeek解读
本文介绍了DeepSeek-V3大语言模型的核心架构与训练流程。该模型采用61层Transformer混合专家(MoE)架构，创新性地使用细粒度专家分割和共享专家隔离技术，并引入"Loss-Free Balancing"负载均衡方法。针对长文本处理，模型采用YaRN位置编码扩展技术，支持128K上下文窗口。此外，模型还包含多头潜在注意力机制和多令牌预测等创新设计。训练流程分为预训练、长上下文扩展和后训练三个阶段，结合强化学习、监督微调和拒绝采样等方法，显著提升了模型的推理能力和人类偏好对
2026-02-20 23:53:47
75
原创 GRPO原理与代码详解
本文探讨了RLHF（基于人类反馈的强化学习）的核心优化技术及其改进方法。首先分析了RLHF的双重目标：奖励最大化与稳定性约束，重点讨论了KL惩罚的两种实现范式及其优缺点，以及KL系数β的选择策略。随后阐述了优势函数归一化对训练稳定性的重要性，并剖析了off-policy问题导致的评估失真及其解决方案。第二部分提出了GRPO（广义强化学习策略优化）方法，通过简化PPO框架中的模型依赖，采用组内对比机制替代传统优势估计，并区分了结果奖励监督（ORM）和过程奖励监督（PRM）两种模式及其适用场景。研究表明，这些技
2026-02-10 21:57:31
67
原创 RLHF（人类反馈强化学习）基础框架
RLHF 是将强化学习（Reinforcement Learning）应用于大语言模型的训练方式，其中 “HF（Human Feedback）” 指通过人工标注的偏好数据，调整模型输出的风格、安全性与实用性，让模型生成更符合人类需求的结果。
2026-02-05 17:07:45
114
原创 基于mem0和多模态RAG的本地文件问答系统——项目需求分析与介绍
本文介绍了一个基于多模态检索增强生成(RAG)技术的PDF问答系统开发项目。系统支持命令行和Web两种模式，核心功能包括：1)自动扫描目录并增量处理PDF文件，通过Hash值校验文件变更；2)采用ColPali创新方案，实现页级别的多模态联合编码与检索，保留文档中文本、图像、表格的关联性；3)提供多轮对话管理、智能查询适配和结果可视化功能。系统通过MaxSim算法计算查询与页面的相似度，简化了传统多模态检索的复杂流程。技术栈包括Flask、ChromaDB、OpenAI等组件，适用于学术论文、合同等复杂文档
2026-02-03 17:50:00
75
原创 Mem0论文及源码解读
Mem0是针对大语言模型(LLM)在长期会话中的"遗忘"和"不一致"问题提出的记忆管理系统。其核心设计理念是"动态提取-结构化整合-精准检索"，通过基础版Mem0和图增强版Mem0g两种架构实现低冗余、高准确、可扩展的长期记忆管理。 Mem0的主要创新点包括： 采用"上下文补充→提取关键记忆→对比现有记忆→执行更新操作"的流程，确保只保留高价值记忆 支持两种存储模式：直接存储原始消息和LLM提取关键事实后智能处理 提供四种记忆操
2026-01-28 10:54:38
70
原创 大模型有监督微调（从原理到代码实现）
本文详细阐述了在大语言模型（LLM）上进行监督微调（Supervised Fine-Tuning, SFT）的完整技术流程，涵盖目标定义、数据构建、多任务混合、训练策略与损失计算等核心环节。SFT 的核心目标是在具备基础语言能力的预训练模型上，通过 “指令 - 回答” 标注数据让模型学会按照人类期望的格式与风格生成回答，为后续的对齐优化（如 RLHF/DPO/PPO）奠定基础。
2026-01-18 21:13:40
71
原创 大语言模型预训练基础
本文系统阐述了大模型预训练的核心方法与实践要点。首先分析了两种基础语言建模范式：因果语言建模（CausalLM）和掩码语言建模（MaskedLM），对比了它们在训练目标、信息利用和任务适应性等方面的差异。其次详细介绍了预训练全流程，包括分词器训练、模型结构选择、学习率调度、多阶段训练策略等关键技术，特别强调了中文场景下的优化方法。最后探讨了模型缩放定律（ScalingLaw）的应用规律，以及模型蒸馏技术（包括特征蒸馏、自蒸馏等）在平衡模型性能与部署成本方面的重要作用。全文为大模型训练提供了系统的工程实践指导
2026-01-18 15:42:22
84
原创 大模型预训练从理论到代码实现：tokenizer的预训练
BPE分词器是一种数据驱动的子词分词方法，通过统计高频相邻单元对逐步构建词汇表。其核心流程包括初始化基础单元、统计频次、合并最高频对并迭代更新词汇表。文章以中文案例演示了BPE的分词过程，并提供了基于HuggingFace库的完整训练代码实现，包括数据预处理、模型训练、特殊Token配置和结果验证。代码采用生成器读取大数据，支持多语言处理，并确保训练可复现性。最终生成的Tokenizer可用于自然语言处理任务，支持对话模板等高级功能。
2026-01-18 15:40:15
231
原创 分布式预训练
本文系统阐述了深度学习的四种主流并行计算机制：数据并行（DP）、张量并行（TP）、流水线并行（PP）和专家并行（EP）。重点剖析了数据并行的实现方案，包括参数服务器框架及其异步更新优化策略，以及PyTorch分布式数据并行（DDP）基于Ring-AllReduce的通讯优化机制。详细介绍了DeepSpeed ZeRO优化方案，通过分片存储参数、梯度和优化器状态，显著降低显存占用。文章深入分析了各并行机制的核心原理、执行流程、优缺点及适用场景，为大规模深度学习模型训练提供了系统的并行计算解决方案。
2026-01-15 20:49:23
142
原创 MoE, Repeat Layer, MoR
混合专家模型(MoE)通过将传统Transformer的FFN层替换为多个专家组件，配合路由器实现稀疏激活，在提升模型容量的同时控制计算成本。MoE的核心在于专家均衡分配和路由策略优化，包括Softmax Top-k、Switch等多种方法。RepeatLayer技术通过参数共享和层复用显著降低显存占用，如ALBERT和Relaxed Recursive Transformers等模型所示。MoR架构结合递归Transformer、自适应深度选择和KV缓存优化，实现了参数效率、计算效率和显存占用的三重优化。
2026-01-13 19:53:02
49
原创 注意力优化与高效推理
摘要：本文探讨了大模型推理中的KVCache优化技术及其最新进展。KVCache通过缓存注意力计算中的Key和Value矩阵，避免了重复计算，显著提升了推理效率。文章详细分析了KVCache的工作原理，并介绍了三种前沿优化方法：PagedAttention的显存分页管理、SpeculativeDecoding的大小模型协同推理，以及FlashAttention的高效注意力计算。通过基准测试对比了不同配置下的性能表现，结果表明采用KVCache+SDPA（特别是FlashAttention）的组合能获得最佳性
2026-01-09 21:21:20
67
原创 Agentic RAG
AI Agent技术解析与应用实践 本文系统介绍了AI Agent的核心概念、技术架构及典型应用场景。AI Agent是一种基于大语言模型的智能代理系统，具备自主规划、执行任务的能力，由LLM大脑、记忆系统、规划能力和外部工具四大组件构成。文章详细分析了四种工作流程（FunctionCall、ReAct、PlanAndSolve、ReWOO）的实现原理和代码示例，并重点讲解了MCP协议如何标准化AI与外部工具的对接。最后探讨了Agentic RAG技术，包括单Agent和多Agent架构在检索增强生成中的应
2026-01-05 16:44:54
61
原创 基于知识图谱的RAG
图（Graph）是由节点（顶点）和边组成的数据结构，可表示各类关系与结构（如地铁路线图、社交网络好友关系）。知识图谱（Knowledge Graph, KG）是用“图”结构表示知识的方式，由实体（节点）和关系（边）组成，能将零散信息抽象为结构化形式，支持机器理解、推理和查询。知识图谱的核心表示形式是三元组：（实体1）—[关系]→（实体2）。例如“阿基米德—[发现]→浮力原理”，通过这种网络结构实现知识的存储、查询与推理。
2025-12-23 16:48:19
98
原创 RAG企业级知识库的多样性需求及应对策略
企业级知识库解决方案摘要 本文提出了一套完整的企业级知识库解决方案，重点解决权限管理、共享方式和安全保障三大核心需求。在权限管理方面，支持部门级隔离和细粒度访问控制，通过标签系统和元数据实现RBAC/ABAC权限模型。在共享方式上，采用算法注册器和文档分组机制，实现知识库与算法的灵活适配。安全保障方面，提供敏感词过滤、全链路加密和私有化部署方案。系统架构采用模块化设计，支持多知识库联合检索、意图识别和会话隔离，并通过电商场景案例验证了方案的可行性。该方案有效解决了企业知识管理中的数据安全、灵活共享和高并发访
2025-12-20 16:09:20
90
原创 多模态RAG--能够应用于图片表格的RAG系统
多模态RAG（检索增强生成）技术突破传统文本限制，实现文本、图像、音频等多模态数据的检索与融合生成。其核心在于跨模态对齐与融合，通过多模态嵌入技术将异源数据映射到统一向量空间。关键技术包括：多模态编码器（CLIP等模型实现跨模态编码）、多模态检索器（支持跨模态匹配）和多模态生成器（输出复合内容）。针对PDF等复杂文档，需先进行多模态解析（文本/图像/表格提取），再通过统一嵌入或模态转换实现向量化。优化技巧包括文本补全、结构化QA生成、上下文增强和领域微调等。新兴的ColPali范式提出页级别联合编码，简化了
2025-12-18 21:19:49
224
原创 蒸馏Deepseek打造思维能力更强的RAG系统
DeepSeek-R1是一款针对复杂推理任务优化的AI模型，其核心优势包括高效推理、本地化部署支持和多领域推理能力。该模型基于思维链(CoT)强化技术，通过四阶段训练流程（强化学习验证、数据合成、混合微调和蒸馏实验）提升推理能力。DeepSeek-R1支持通过LazyLLM进行在线调用和本地部署，本地部署需要至少2个节点、16张A100显卡。测试显示，该模型在需要上下文支撑的任务中表现较好，但在精确信息抽取任务中不如Qwen2-7B简洁准确。
2025-12-17 21:29:17
85
人工智能+Vectornet源码详解+博客资源
2023-01-01
博客资源:clip-demo测试效果展示
2022-10-22
博客资源+pandas相关代码
2022-10-14
博客资源+seaborn相关操作
2022-10-14
博客资源+Matplotlib绘图的基本使用
2022-10-14
数学建模+时间序列预测+LSTM+股票数据分析
2022-07-13
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人