HIT_Weston-CSDN博客

原创 249、【AI】【模型部署】基座模型研究：长上下文外推（上）——直觉与配置

本文探讨基座模型在长上下文外推中的挑战与解决方案，聚焦RoPE位置编码下“训练短、使用长”时的失效问题。通过分析频率分布与角度混淆机制，提出四种主流策略：线性缩放（简单但损失分辨率）、NTK-aware（按频率智能缩放）、YaRN（分段缩放+温度补偿）及dynamic NTK（动态调节）。强调配置需结合rope_scaling与实际训练，澄清“增大max_position_embeddings”等常见误区，并指出外推技巧仅适用于频率型编码，最终引导至下一讲公式推导。

2026-10-12 07:25:31 145

原创 248、【AI】【模型部署】基座模型研究：不旋转也能注入位置——绝对、正弦、相对偏置与 ALiBi

本文对比了位置编码的四种主流方案：可学习绝对位置、正弦编码、相对偏置与ALiBi，分析其注入机制、参数特性与外推能力。指出从“绝对”到“相对”的演进趋势，强调相对方案更契合注意力机制本质，具备更好外推性。结合RoPE的旋转机制，阐明其在无参、相对建模与KV cache兼容性上的综合优势，成为现代大模型主流选择。

2026-10-12 07:25:12 93

原创 247、【AI】【模型部署】基座模型研究：RoPE 用在前向还是反向——训练、推理与 KV cache

本文深入解析RoPE在模型部署中的实现细节：旋转仅发生在注意力前向计算中，训练与推理均执行，且无可训练参数。核心在于缓存旋转后的K、未旋转的V，确保新查询一次旋转即可与历史键直接点积，自动获得相对位置信息。推理时位置编号需连续递增，训练与推理必须保持一致，否则将导致位置编码错乱。该设计使RoPE兼具无参、相对位置建模与KV cache高效兼容的优势，是其成为主流位置编码的关键。

2026-10-11 07:26:03 422

原创 246、【AI】【模型部署】基座模型研究：RoPE 的维度与频率——32 对、多频率与 rope_theta

本文深入解析RoPE中频率设计的数学原理：通过几何级数分布的inv_freq实现32对维度的多频率旋转，低维高频负责近距分辨，高维低频覆盖远距离，波长跨度达百万级。rope_theta=1e6放大最慢频率波长，确保32768上下文长度内位置唯一性。多频率组合如“多把尺子”，兼顾细粒度与广域覆盖，其设计本质是有限维度下最优尺度感知方案。

2026-10-11 07:25:45 347

原创 245、【AI】【模型部署】基座模型研究：RoPE 的数学——为什么旋转就能编码相对位置

【声明】本博客所有内容均为个人业余时间创作，所述技术案例均来自公开开源项目（如Github，Apache基金会），不涉及任何企业机密或未公开技术，如有侵权请联系删除。

2026-10-10 08:19:39 387

原创 244、【AI】【模型部署】基座模型研究：位置编码总论——注意力为什么对顺序无感

本文探讨Transformer模型中位置编码的必要性，指出注意力机制本身对顺序无感，需外部注入位置信息以区分“猫吃鱼”与“鱼吃猫”等语义差异。文章梳理了三条主流位置编码路径：加到输入向量（如BERT）、偏置注意力分数（如ALiBi）、旋转$q/k$（RoPE），并强调RoPE通过旋转实现相对位置编码，无需参数、支持外推，成为当前主流方案。后续将深入解析其数学原理与部署细节。

2026-10-10 08:19:20 395

原创 26、【数学】【信息论】KL 弃峰怎么救：α-散度、退火、JS 与 Wasserstein

本文探讨反向KL散度导致“弃峰”问题的根源及四大修复策略：一、改散度（α-散度、JS、Wasserstein），实现覆盖与精准的平衡；二、温度退火，通过平滑目标分布降低弃峰动机；三、增强模型容量（如GMM、归一化流），使Q具备多峰拟合能力。结合实例对比不同方法在双峰分布下的表现，指出无万能解，需根据场景权衡代价。

2026-10-08 07:35:45 681

原创 25、【数学】【信息论】反向 KL 为什么可以弃峰：zero-forcing 与 mode dropping

反向KL散度因权重为$Q(x)$，在$Q$质量为零处（如被弃峰）惩罚趋近于零，形成“zero-forcing”效应——弃峰几乎无代价。其真正惩罚的是$Q$在$P$无质量区域的“多盖”。数学上，仅拟合一个峰的反向KL约等于$\ln k$（$k$为峰数），有限且可控。相较之下，前向KL会因“漏盖”而发散。该特性导致反向KL在变分推断中易引发后验坍缩（posterior collapse），是模式丢失的根源。

2026-10-08 07:35:16 404

原创 24、【数学】【信息论】KL 为什么不对称：前向与反向散度各自在优化什么

KL散度不对称源于其权重与对数项的协同作用：前向KL（P‖Q）以P为采样分布，惩罚Q遗漏P中高概率区域；反向KL（Q‖P）以Q为采样分布，惩罚Q在P低概率区“越界”。前者趋向mass-covering（覆盖所有质量），适用于监督学习；后者趋向mode-seeking（锁定众数），用于变分推断。二者本质差异体现于优化目标：谁采样，谁就需避免被对方“忽略”。

2026-10-07 07:00:03 905

原创 23、【数学】【信息论】交叉熵为什么是 plog(q) 而不是 qlog(p)：方向、MLE 与前向 KL

交叉熵 $H(P,Q) = -\sum P(x)\log Q(x)$ 的方向由真实分布 $P$ 作权重、预测分布 $Q$ 进对数决定，源于采样视角与最大似然估计：数据来自 $P$，故平均应按 $P$ 加权；模型目标是拟合真实分布，而非反之。其本质为 $H(P) + \mathrm{KL}(P|Q)$，最小化即逼近真实分布。反向交叉熵 $H(Q,P)$ 在 one-hot 标签下会因 $\log 0$ 发散，不可用。因此，$P\log Q$ 不仅合理，更是训练可行性的必要条件。

2026-10-07 06:59:35 360

原创 22、【数学】【信息论】熵为什么只能是它：Shannon 公理与唯一性定理

本文基于Shannon公理体系，证明熵的形式 $-\sum p\log p$ 是唯一满足连续性、对称性、均匀分布熵单调递增及分组递推四条自然要求的不确定性度量。通过将均匀分布熵的可加性与单调性结合，利用夹逼定理推出其必为对数形式，并借助连续性推广至任意实概率。最终，公理系统与最大熵原理互为印证，确立了熵的数学根基与不可替代性。

2026-10-06 07:41:37 439

原创 21、【数学】【信息论】熵为什么是 -sum(p*log(p))：信息量的期望

本文深入解析熵 $H(P) = -\sum p \log p$ 的本质：它是单个结果信息量 $-\log p$ 在概率分布上的期望，反映分布的平均不确定性。通过对比尖锐与均匀分布、伯努利熵曲线及KL散度恒等式 $H(P) = \log n - \mathrm{KL}(P|U)$，证明了类别固定时均匀分布熵最大。熵具非负性、确定性、上界、对称性和凹性等性质，可解读为“不确定性”或“最优编码平均长度”。权重必须为 $P(x)$，以真实抽样概率加权，确保度量合理。最终强调熵的形式由信息量期望自然导出，其唯一性将在

2026-10-06 07:40:58 461

原创 20、【数学】【信息论】信息量为什么是 - log p：可加性如何锁死对数

本文从信息论直觉出发，论证信息量为何必为 $-\log p$：基于连续性、单调递减与独立事件可加性三大要求，推导出满足 $I(p_1p_2) = I(p_1) + I(p_2)$ 的函数唯一解为负对数形式。该结论源于对数将乘法转化为加法的本质，且换底仅改变单位（bit 与 nat），不影响核心结构。最终揭示：信息量的数学形式由“可加性”锁死，根植于对数的代数特性。

2026-10-05 06:41:29 394

原创 19、【数学】【基础】幂级数的收敛与欧拉公式：为什么可以这样展开

本文系统阐述幂级数的收敛性与欧拉公式的数学基础。指出泰勒级数能否收敛到原函数，取决于余项趋于0，而收敛范围由收敛半径决定：幂级数在以展开点为中心的圆盘内绝对收敛，半径等于至最近奇点的距离。通过比值判别法可求半径，如$e^z$半径为$\infty$，$\frac{1}{1-x}$为1。关键在于：收敛区间内绝对收敛，故可合法重排、分组——这正是欧拉公式中将$e^{i\theta}$级数拆分为奇偶项并分别对应$\cos\theta$与$i\sin\theta$的理论依据。最终，从级数定义到欧拉公式，逻辑链条完整闭

2026-10-05 06:41:06 419

原创 18、【数学】【基础】泰勒级数怎么推出来的：逐阶匹配与余项

本文详解泰勒级数系数的推导：通过假设函数可展开为幂级数，逐阶求导并代入 $x=0$，得出系数公式 $a_n = \frac{f^{(n)}(0)}{n!}$。关键在于求导时幂次降阶带来的 $n!$ 因子，需通过除法抵消。进一步指出，仅系数匹配不足以保证级数等于原函数，真正决定收敛性的是余项 $R_N(x)$。当 $N \to \infty$ 时 $R_N \to 0$，如 $e^x$、$\sin x$ 可在全体实数成立；而 $\frac{1}{1-x}$ 等函数则受收敛半径限制。逻辑闭环：系数由导数唯一确定

2026-10-04 09:46:05 489

原创 17、【数学】【基础】泰勒级数是什么：用多项式逼近函数

本文详解泰勒级数：通过多项式逐阶逼近函数，利用函数在某点的各阶导数构造麦克劳林级数（$a=0$ 时的泰勒级数）。核心思想是“局部贴合”——阶数越高，逼近越精确。常见函数如 $e^x$、$\sin x$、$\cos x$ 在全体实数收敛，而 $\frac{1}{1-x}$ 等仅在收敛半径内有效。泰勒多项式为有限部分和，泰勒级数为极限形式，二者关系类比无穷级数与部分和。实际应用中，它使复杂函数（如指数、三角函数）转化为仅含加乘的多项式，是计算器与硬件实现数学函数的基础。收敛范围由展开点到最近奇点的距离决定，非处

2026-10-04 09:45:40 399

原创 16、【数学】【基础】无穷级数是什么：从“无限相加“到收敛

本文从“无限相加”为何有确定结果切入，阐明无穷级数的本质是部分和序列的极限。通过几何级数、调和级数与交错级数等案例，揭示收敛需满足项趋于0（必要不充分），并强调“部分和是否有稳定落点”是唯一判据。级数收敛使无法用初等式表达的常数（如$e$、$\pi^2/6$）与函数（如$\sin x$、$e^x$）得以逼近，为泰勒展开与工程计算奠定基础。

2026-10-03 00:24:54 936

原创 15、【数学】【基础】欧拉公式是怎么来的：从级数、微分方程到旋转

本文从级数、微分方程与极限三角度推导欧拉公式 $e^{i\theta} = \cos\theta + i\sin\theta$，揭示其非巧合而是复指数定义的必然结果。级数展开展现 $i$ 的循环幂与三角函数级数的对应；微分方程证明两者满足相同初值问题，解唯一；极限视角则直观解释连续旋转的本质。三法殊途同归，阐明复指数的几何意义——单位圆上的旋转，并为 RoPE 等应用提供数学根基。

2026-10-03 00:24:34 528

原创 243、【AI】【模型部署】基座模型研究：KV cache 与自回归生成

本文深入解析自回归生成中的KV cache机制与采样策略。指出语言模型逐token生成导致重复计算，引入KV cache缓存键值（k/v）以将累计计算量从O(t²)降至O(t)，显著提升推理效率；阐明仅缓存k/v而非q的原因——后者仅用一次，前者被反复查询；同时介绍贪心、温度、top-k、top-p等采样方法在确定性与多样性间的权衡，并强调缓存虽省算力但显存随序列长度线性增长，GQA正为此优化。最终形成“prefill并行→decode串行+缓存→采样选token”完整推理链。

2026-10-02 13:18:34 476

原创 242、【AI】【模型部署】基座模型研究：注意力机制深入

本文深入解析Transformer核心机制——注意力，从查询（Q）、键（K）、值（V）的带权检索思想出发，阐明其多头、缩放因子$\sqrt{d}$、因果掩码、位置编码（RoPE）等设计原理。通过计算流程与张量形状分析，揭示注意力如何实现“按相似度聚合信息”，并指出其随序列长度平方增长的显存与计算代价，为后续KV缓存优化奠定基础。

2026-10-02 13:18:12 352

原创 241、【AI】【模型部署】基座模型研究：loss 面面观（交叉熵 / NLL / KL / 最大似然）

【声明】本博客所有内容均为个人业余时间创作，所述技术案例均来自公开开源项目（如Github，Apache基金会），不涉及任何企业机密或未公开技术，如有侵权请联系删除。

2026-10-01 13:24:49 640

原创 240、【AI】【模型部署】基座模型研究：logits 与 softmax

本文深入解析模型部署中的核心组件：logits与softmax。logits是输出头生成的未归一化分数，可为负，绝对值无意义，仅差值决定偏好；softmax通过指数归一化将其转为概率，具备平移不变性，工程上需减最大值以保证数值稳定。温度参数调节分布尖锐度，影响生成多样性。最终，softmax输出的$p$与真实标签$y$之差，正是交叉熵对logits的梯度，揭示了模型训练高效性的数学本质。

2026-10-01 13:24:20 439

原创 239、【AI】【模型部署】基座模型研究：反向传播的已知、所求与场景

本文从工程视角解析反向传播的核心问题：已知前向缓存与标量损失 $L$，求各参数梯度 $\partial L/\partial W$，通过链式法则逆序计算，一次完成全部梯度求解。重点推导了 softmax + 交叉熵组合下梯度简化为 $p - y$ 的数学本质，并阐明反向仅用于训练——梯度由优化器更新参数，推理无需反向。强调其高效性源于计算图组织与自动微分，非单纯求导公式。

2026-09-30 07:33:31 437

原创 238、【AI】【模型部署】基座模型研究：前向传播

本文系统解析了模型部署中的前向传播机制：从输入token id出发，经嵌入、多层Block（含注意力与FFN）、输出头等步骤，生成logits并经softmax转化为概率，最终通过交叉熵计算标量损失。强调前向仅执行数值运算，不涉及求导，是训练与推理共用的核心流程。其关键在于逐层保持张量形状（B,S,d），并在最后扩展至词表维（V）。前向过程中缓存中间激活值，为反向传播提供必要数据。对比训练与推理可知，二者均需前向，但仅训练包含反向更新。前向本质是“模型跑一遍”，其算力主要消耗于矩阵乘法，直接影响推理效率与部

2026-09-30 07:33:04 338

原创 237、【AI】【模型部署】基座模型研究：反向传播

本文深入解析反向传播的数学原理与实现机制，从链式法则出发，阐明计算图中前向传播与反向传播的协同关系。重点揭示softmax+交叉熵组合下梯度的简洁形式（$p - y$），并结合微型模型实例演示参数更新过程。文章还系统梳理了zero_grad、backward、step三接口的作用，强调梯度裁剪与学习率warmup对深层网络训练稳定性的重要性。最终将反向传播置于预训练循环中，完整呈现“前向→损失→反向→更新”的训练闭环，为模型部署中的优化提供理论支撑。

2026-09-29 07:39:09 352

原创 236、【AI】【模型部署】基座模型研究：硬标签与软标签

本文深入解析基座模型中硬标签与软标签的本质区别：训练目标（硬标签）仅定义正确token，而模型输出始终为软分布，其多样性源于数据本身。硬标签易导致过度自信，可通过标签平滑或知识蒸馏缓解；推理端的温度、top-k/p采样才是控制生成多样性的关键。厘清“标签”与“输出”、“训练”与“推理”的边界，避免三大常见误区，助力模型更稳健高效。

2026-09-29 07:38:41 398

原创 14、【数学】【线性代数】one-hot 与基向量：分类目标为什么能当概率分布

本文揭示了one-hot编码的双重身份：在线性代数中为标准基向量，概率论中为退化分布。二者统一解释了为何one-hot可作为分类任务的真实概率分布——其熵为0，使交叉熵塌缩为负对数似然，从而指导模型最大化正确类概率。同时，one-hot的基向量特性也自然导出embedding层的查表机制。工程上虽以整数索引实现，但数学本质仍依赖one-hot。文章还梳理了从one-hot到软标签、标签平滑等标签表示家族，厘清了各类别在理论与应用中的角色。

2026-09-28 07:45:02 562

原创 13、【数学】【信息论】信息量、熵与交叉熵：从 -log p 到 KL 散度

本文从信息量 $-\log p$ 出发，系统推导熵、交叉熵与 KL 散度的数学关系。揭示：熵衡量不确定性，交叉熵反映用预测分布 $Q$ 描述真实分布 $P$ 的平均意外程度，其与熵之差即为非对称的 KL 散度。在语言模型中，one-hot 标签使交叉熵退化为负对数似然（NLL），最小化损失等价于让模型分布逼近真实分布。引入困惑度 $e^H$ 提供直观解释。全篇构建了从信息论到深度学习损失函数的完整逻辑链，是理解语言模型训练本质的数学基石。

2026-09-28 07:44:41 390

原创 12、【数学】【基础】e 的意义：连续变化世界的自然单位

本文深入阐释自然常数 $e$ 的本质：它是连续变化世界的“自然单位”。通过六大意义揭示其核心作用——将增长率转化为倍数（$e^{kt}$）、满足 $(e^x)' = e^x$ 的自指增长、连接加法与乘法的桥梁（$e^{x+y} = e^x e^y$）、类比弧度的数学简洁性，以及作为所有指数函数的标准基（$a^x = e^{(\ln a)x}$）。特别澄清误区：$e^x$ 并非“增长最快”，而是“单位速率”的基准。最终，$e$ 是由数学结构自然导出的统一尺度，而非人为选择。

2026-09-27 07:14:26 516

原创 11、【数学】【基础】自然常数 e：为什么是 2.718…

本文深入解析自然常数 $e \approx 2.718$ 的起源与意义：从连续复利极限 $\lim_{n\to\infty}(1+\frac{1}{n})^n$ 出发，揭示其作为唯一满足 $(e^x)' = e^x$ 的底数的数学本质。通过级数展开 $\sum \frac{1}{k!}$ 快速逼近数值，并阐明 $e$ 是无理且超越数，无法用分数表示。文章还说明以 $e$ 为底的对数（自然对数）在微积分中最为简洁，且广泛出现在变化率正比于自身的现象（如复利、衰变、AI 中的 softmax 与交叉熵）中，体现

2026-09-27 07:13:37 445

原创 10、【数学】【基础】对数与自然对数：从乘法到加法

本文系统讲解对数的基本概念及其在数学与AI中的核心应用。对数是指数的逆运算，满足 $\log_b x = y \iff b^y = x$，要求底数 $b > 0, b \neq 1$，真数 $x > 0$。重点介绍其四大意义：将乘法转为加法（如概率连乘变求和）、压缩数量级（如分贝、震级）、定义信息量（$I(x) = -\log p$）以及提升数值稳定性与求导友好性。在深度学习中，对数广泛用于交叉熵损失、softmax、困惑度、最大似然估计等，是处理概率模型的关键工具。文章还揭示了RoPE中“逆频率”与对数的

2026-09-26 06:46:13 949

原创 235、【AI】【模型部署】基座模型研究：交叉熵

本文深入解析了语言模型预训练中的核心损失函数——交叉熵。通过信息量与负对数概率的直观解释，阐明其在 next-token 预测中退化为负对数似然（NLL）的本质，并揭示初始 loss ≈ ln(V) 的来源（如微型模型 1432 字符表对应约 7.27）。结合 softmax 归一化与 log-sum-exp 数值稳定性优化，详解 F.cross_entropy 在代码中的实现逻辑，强调其与最大似然估计等价性及梯度优良特性。最终以困惑度（PPL = e^loss）将损失转化为“平均候选数”进行直观理解，完整

2026-09-26 06:45:28 408

空空如也

空空如也