酌沧-CSDN博客

原创 Prompt工程能否代替模型训练？

Prompt 工程很强，但替代不了「模型训练」本身。下面我们从底层视角拆开看看：Transformer 在干嘛？Prompt 在干嘛？训练在干嘛？它们的边界到底在哪里？

2025-12-14 17:18:33 725

原创豆包AI手机智能操控的硬核原理

智能体将多次滚动截屏中获取的文本信息汇总，输入大模型进行摘要生成，最终以自然语言的形式回答用户：已为你搜索并收集到…的相关新闻，内容如下…。

2025-12-14 17:15:38 1008

原创大模型量化技术全解析

大模型量化技术全解析，先理解线性量化的基础，再看对象/粒度/流程怎么选，最后是各种进阶招式。

2025-12-10 20:23:56 616

任意位置都能直接算出旋转角度，不需要额外参数，现在主流大模型（LLaMA、Qwen 等）几乎都使用 RoPE，随着距离 |m − n| 变大，RoPE 下点积的有效贡献会逐渐衰减：对长上下文的处理更平滑，更像人类注意力。：直接改变注意力点积：点积 = 内容相关性 + 与相对距离 |m − n| 相关的项，注意力天然偏向基于相对距离的建模：更接近人类处理语言的习惯，我们通常记得的是这个词在那个词前后几步，而不是它是整句的第 87 个字符。可以把每一组二维向量想成一个指针：位置 0：角度是 0°，指针不转。

2025-12-10 20:20:51 931

原创人脑与大模型的本质差异

揭秘碳基大脑与硅基智能的本质差异，从记忆容量到元认知的深度剖析，带你认清 AI 进化的终极方向。

2025-12-10 20:18:41 515

原创大模型激活函数：从ReLU到GLU的进化之路

在任意一层前馈网络里，最基本的计算形式是hfWxbhfWxb。其中WxbWxb是线性变换，而激活函数f⋅f(\cdot)f⋅决定了这一层是不是只是另一层线性变换。如果没有激活函数，那么无论叠多少层，本质都等价于一个大线性变换，模型只能拟合线性关系。加入非线性激活函数，网络才能逼近任意复杂的非线性函数，这是深度学习真正有用的地方。前馈网络（FFN）：形如FFNxW2fW1xb1b2FFNxW2fW1xb1b。

2025-11-28 19:14:17 740

原创 Cline编程智能体的核心提示词解析

深入解构开源的AI编程智能体Cline的核心提示词，揭示其通过结构化协议，思维链机制及双模态交互实现精准代码工程的核心逻辑。

2025-11-28 19:11:35 1051

原创 2025年主流开源大模型的结构设计差异

12025 年的大模型仍然是Decoder-only Transformer 主体 + 一堆结构插件主干结构没变：自回归、因果 mask、残差、归一化、注意力 + FFN。创新集中在：注意力变体（GQA、MLA、滑动窗口、线性注意力）、MoE、归一化布局、位置编码、KV cache 压缩。2MoE 已经从研究玩具变成旗舰模型标配DeepSeek-V3、Llama 4、Qwen3-MoE、GLM-4.5、MiniMax-M2、Grok 2.5 等大模型都采用 MoE。

2025-11-28 19:09:36 956

原创 Transformer层归一化详解

想把大模型训稳训快，绕不开的一件事就是搞懂Transformer里的各种归一化套路和它们背后的物理直觉。外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传。

2025-11-21 21:06:06 537

原创 2025年主流开源大模型的结构设计差异

12025 年的大模型仍然是Decoder-only Transformer 主体 + 一堆结构插件主干结构没变：自回归、因果 mask、残差、归一化、注意力 + FFN。创新集中在：注意力变体（GQA、MLA、滑动窗口、线性注意力）、MoE、归一化布局、位置编码、KV cache 压缩。2MoE 已经从研究玩具变成旗舰模型标配DeepSeek-V3、Llama 4、Qwen3-MoE、GLM-4.5、MiniMax-M2、Grok 2.5 等大模型都采用 MoE。

2025-11-21 21:03:23 1156

原创大模型如何真正“记住”你：揭秘个性化AI Agent的技术底层

实现。

2025-11-12 20:40:28 733

原创监督对齐DPO算法实例讲解

DPO 让AI学会自我纠错还在用复杂的RLHF？DPO（直接偏好优化）正以更简单、更高效的方式，教会AI如何自我反思和择优学习。

2025-11-12 20:39:34 1005

原创拆解扣子智能体重塑生产力

感觉大模型(LLM)空有大脑却没手脚？今天我们从第一性原理扒一扒，扣子(Coze)是怎么给AI装上手脚，打造出最强AI Agent的！🚀。

2025-11-03 22:00:56 1008

原创 2025年三大AI底层规律

智能商品化：简单能力很快就免费，别做“人肉搜索器”。验证者定律：先做“验证易”的任务，构造反馈闭环。锯齿状边缘：AI不是全能，判断任务差异、分层推进才是正道。🎯行动建议它能数字化吗？数据足够多吗？能否构造客观评分？再画出“生成难/验难”的坐标象限，你的AI路线图就出来了。”的任务，构造反馈闭环。3.锯齿状边缘：AI不是全能，判断任务差异、分层推进才是正道。🎯行动建议它能数字化吗？数据足够多吗？能否构造客观评分？再画出“生成难/验难”的坐标象限，你的AI路线图就出来了。

2025-11-03 21:56:08 818

原创 AI时代大数据分布的深入洞察与应用

当前的大模型是卓越的相关性学习者，但无法回答“如果……会怎样？”的因果问题。因果推断的数学框架，其核心就是将复杂的联合分布分解为一系列由因果机制决定的、更简单稳定的局部条件概率分布。识别并解构数据分布，是迈向因果理解的第一步。识别和重构数据的真实分布结构，是AI想从“统计模拟”跨越到“因果理解”的必要条件。

2025-09-27 09:06:05 1007

原创 AI智能激光灭害系统设计

激光灭蚊系统是利用光学传感器和AI算法，实时探测并定位空中飞行的蚊子，再通过定向激光将其烧毁击杀的自动化装置。该方案无需化学药剂，属于纯物理灭蚊手段，可在室内或户外环境创建无蚊的安全区域。其目标是在减少蚊媒疾病传播和蚊虫骚扰的同时，避免对人畜和生态造成副作用，体现高效、精准、环保的防蚊理念。

2025-09-27 09:03:08 970

原创大模型的底层运算线性代数

深度学习的本质是用数学语言描述并处理真实世界中的信息，而线性代数正是这门语言的基石。它不仅提供了高效的数值计算工具，更在根本上定义了如何以可计算、可组合、可度量的方式表示和变换数据。

2025-08-18 21:43:10 1476 1

原创深度学习必然用到的概率知识

深度学习作为一种数据驱动的预测技术，本质上是处理不确定性的，而。无论是软件测试领域的AI赋能，还是AI模型自身性能评测，都需要通过概率来描述数据、模型与现实世界之间的偶然与必然关系。

2025-08-18 21:41:41 894

原创《AI大模型评测与智能测试》

第三篇“实践蓝图”（第6-7章）着眼于测试领域AI应用，重点介绍了RAG、AI Agent开发及构建端到端智能测试系统的方法。本书聚焦AI时代的“质量”核心，以“AI赋能测试”（AI For Testing）与“AI模型评测”（Testing For AI）为双轮驱动。内容不仅深入剖析如何科学度量AI大模型的内在质量，还系统讲解如何利用AI赋能传统软件测试，帮助读者贯通从模型原理、评测到应用开发的全链路知识。

2025-08-01 12:14:35 688

原创智能体开发的6个核心经验，价值百万

构建Manus智能体的经验教训包括：1.KV缓存避免重复计算；2.掩码技术实现动态工具调用；3.使用文件系统扩展上下文；4.通过复述任务操控注意力；5.让错误留在上下文中；6.加入少量随机变化。下文将深入拆解底层原理。

2025-07-25 20:07:50 1065

原创 AI图像编辑能力评测的8大测评集

在图像编辑领域，近期涌现了多款的数据集。这类数据集通常包含和（如修改要求、风格变换或增强提示等），模型需据此生成，并配套来衡量生成图像对文本要求的满足程度和图像质量。

2025-07-25 20:07:00 1508

原创多智能体协同工作实例拆解

多 Agent 本质上是在大模型的指导下，多个 Agent 共同协作完成用户的任务。本文用一个实例分析 supervisor 架构下的多 Agent 设计。

2025-07-20 16:07:29 1535

原创智能体长短期记忆最佳实践

通过的组合，LangGraph 让我们能够编排复杂、可恢复、可解释、可协作的 Agent 工作流。实现上下文工程的写入上下文。

2025-07-20 16:05:40 1117

原创智能体上下文压缩-裁剪和摘要

model=summarization_model, # 可以用更便宜的模型max_summary_tokens=128, # 每次新增的摘要 token 上限# 新增此键用于保存先前的摘要信息，以避免每次 LLM 调用都重新摘要📊 摘要策略可利用 langmem 库的 SummarizationNode。当对话达到 max_tokens 时，它会自动对较早的消息生成摘要。当历史 + 新请求 > 384 token，就把“过界”的部分喂给⇒ 产出摘要块 ⇒ 用摘要块 + 最新消息继续。

2025-07-19 19:43:13 1541