VectorShift-CSDN博客

原创人工智能算法复现专栏总目录源码在订阅专栏后私信获取

2026-10-15 23:20:16 55

原创【人工智能算法复现专栏】010 | LARS：trust ratio 的“祖师爷“——让每一层以相同的相对速度前进

本文从零复现LARS，阐明其核心——逐层trust ratio的构造与“相对步长恒等于学习率”的精确性质。通过四组实验验证：量化4.25倍层间失衡被有效拉平；在梯度尖峰下实现×1.01的构造性免疫；揭示大batch下裸缩放lr的失效根源。厘清LARS与LAMB的演化关系：前者以原始梯度为阻尼对象，后者转向Adam方向，本质为同一思想在不同优化路径上的适配。最终构建优化器家族谱系，凸显LARS无状态、零开销、自适应缩放的工程优势。

2026-10-15 23:14:52 19

原创【人工智能算法复现专栏】009 | LAMB：给每一层装上 trust ratio，让大 batch 训练不“偏科“

本文从零复现LAMB算法，揭示其核心机制——逐层信任比（trust ratio）通过将参数范数与更新范数比值作为阻尼因子，实现每层相对步长恒等于学习率，有效缓解大批次训练中的层间失衡问题。实验验证其在ResNet与BERT上的卓越表现，尤其在32868超大批次下保持稳定且加速训练至76分钟，首次让自适应优化器在大模型上追平SGD。

2026-10-15 23:05:30 19

原创【人工智能算法复现专栏】008 | AdaFactor：把二阶矩“因子化“，优化器状态内存压缩三个数量级

总结AdaFactor 把逐元素二阶矩因子化为R⋅CT∑RR⋅CT∑R（式 1.1）：状态Onm→OnmOnm→Onm，GPT-2 small 级配置上压缩608 倍（0.408GB → 0.72MB），词嵌入单件 750 倍；秩一近似的保真度：普通矩阵 W1 相关系数 0.989（相对误差 13%），二分类输出层 W2 精确相等（2e-16）——后者源于"两类梯度互为相反数"的秩一结构；β2 调度β2t1−t−0.8β2t。

2026-10-15 22:45:44 19

原创【人工智能算法复现专栏】007 | Sophia：二阶裁剪优化器——给更新量装上“硬上限“，用曲率做方向

本文复现 Sophia 优化器，阐明“对角曲率预条件+逐坐标硬裁剪”的更新机理与 γ 旋钮作用。通过四组实验验证：硬上限确保步长稳定（≤η），牛顿式收步提升病态问题收敛，γ 控制符号动量与曲率修正的平衡。实测显示小任务上机制有效但效率未迁移至大模型，揭示“2×加速”神话的局限性，强调先理解机理再谈性能。

2026-10-15 22:38:26 16

原创【人工智能算法复现专栏】006 | Lion：符号动量优化器——优化器状态减半，AutoML“发明“的更新规则

本文从零复现Lion优化器，揭示其通过符号动量实现状态减半、恒幅更新与尺度免疫的机制。实验验证其在大批次下显著提升精度与效率，但小批量或噪声环境下存在鲁棒性下降风险。其设计天然解耦衰减，适配大模型微调，体现AutoML“发明”优化器的新范式。

2026-10-15 22:32:41 18

原创【人工智能算法复现专栏】005 | RAdam：给自适应学习率做“方差整流“，免手工预热的 Adam

RAdam通过解析量化Adam早期自适应学习率的高方差问题，提出基于有效样本数ρ_t的整流因子r_t，实现自动预热。其核心机制为：当ρ_t ≤ 4时退化为动量更新（相位一），避免方差失控；当ρ_t > 4时引入r_t保守缩放自适应步长，逐步恢复完整自适应。实验验证其在大学习率下稳定训练，无需手工预热，且首步位移与理论对齐（5位有效数字）。该方法将预热从经验调参转化为算法内生机制，兼具理论严谨性与工程实用性。

2026-10-15 22:28:47 12

原创【算法复现专栏】004 | AdamW：把权重衰减从梯度里“摘“出来，LLM 训练的默认优化器

总结"weight decay ≡ L2"只在 SGD 下成立（命题 1，实测偏差 1.6e-15）；Adam 的自适应分母把混入梯度的正则项逐参数缩放（命题 2/3），等价性破缺；破缺的两个极端：零梯度/稀疏参数以绝对速度η\etaη/步滑向零、与 λ 脱钩（式 2.4，四条 λ 曲线 11 步滑一半）；大梯度参数几乎免疫正则（式 2.3）；AdamW 把衰减改为独立的精确乘性收缩1−ηλ1−ηλ。

2026-10-15 05:59:22 19

原创【人工智能算法复现专栏】003 | Adam：一阶矩 + 二阶矩，逐参数自适应步长的大模型默认引擎

总结Adam = 一阶矩（方向平滑）+ 二阶矩（逐参数尺度）+ 偏差校正（消除冷启动偏差），更新规则即式 (2.4)；逐参数归一化带来尺度不变性（式 2.5近似成立），这是"学习率鲁棒、免精调"的数学根源；实测（seed=42）：偏差校正首步位移精确对账 3.1623 倍；二次函数 123 步进入第一梯队（无需精调）；MLP 终精度 1.000；学习率 1e-3~1e-1 全部收敛；偏差校正在数值上 ≈ 隐式预热（参考文献 3），保留它是为"稳"；其理论不收敛性由 AMSGrad 修正。

2026-10-12 22:02:26 26

原创【人工智能算法复现专栏】002 | Nesterov 加速梯度（NAG）：让动量学会“提前刹车“

方法梯度评估点动量机制本实验稳定性上界（κ=100, μ=0.9）二次函数收敛步数SGD当前点θk\theta_kθk无η0.02η0.02367重球法当前点θk\theta_kθk梯度的 EMA 缓冲η0.038η0.038125NAG前瞻点yky_kyk前瞻点梯度的 EMA 缓冲实测η≲0.013η≲0.01354⚠️ 一个反直觉的工程事实：NAG 的可用学习率反而更小（表中第三列）。原因是前瞻把有效步长放大了约1μ。

2026-10-12 21:55:53 420

原创【人工智能算法复现专栏】001 | SGD + Polyak 动量：给梯度下降装上惯性，终结病态地形的锯齿振荡

总结Polyak 动量 = 对梯度做指数移动平均（缓冲区展开式 (2.4)），使参数更新带上惯性；阻尼振荡的本质是交变梯度分量被 EMA 摊薄到11μ1/(1+\mu)1/1μ（式 (2.6)），持续分量被放大；二次函数上收敛率由特征方程给出∣r∣μ∣r∣μ，最优参数配对（式 (2.10)）把复杂度从OκO(\kappa)Oκ降到OκOκ；

2026-10-12 21:47:53 232

原创【CCA（典型相关分析）】符号对照、代码实现 SPSS 语法、Python 完整分析脚本、

本附录集中收录全书使用的数学符号与英文缩略语，供查阅。数学记号遵循第二章约定：粗体小写表示向量，粗体大写表示矩阵。

2026-09-03 23:25:33 37

原创【CCA（典型相关分析）】第九章最佳实践与常见问题

前八章建立了方法、工具与场景，本章处理"实践中的失败模式"。统计分析的常见错误极少来自"公式记错"，而来自流程失序：分组随性、样本硬凑、解读越界、报告省略关键决策。第九章把这些失败模式系统化：先给诊断工序，再给陷阱清单，最后给写作与工具选型的落地规则。内容结构如图 9-1 所示。important;important;fill:none;important;fill:none;height:1em;important;important;important;important;important;

2026-09-03 23:22:59 84

原创【CCA（典型相关分析）】第八章实际案例研究

前七章的方法论像一套工具，本章在四个真实行业场景里做总装演练。四个案例刻意覆盖三种典型数据形态：低维干净（消费者、教育）、超高维稀疏（基因组）、含离群与缺失（金融）——方法选型的差异完全由数据形态驱动。案例结构与选型逻辑如图 8-1 所示。important;important;fill:none;important;fill:none;height:1em;important;important;important;important;important;important;important;

2026-09-03 23:22:16 95

原创【CCA（典型相关分析）】第七章高级CCA方法

经典 CCA 的全部软肋可以压缩成三句话：协方差矩阵奇异时算不了，变量成千上万时算不动（也不该算），关系是曲线时算不准。第七章逐一拆除这三道墙。四种升级方法的出发故障各不相同，但共享同一套"惩罚或映射"的工程思想——先看清各自要修的故障，方法之间的关系如图 7-1 所示。important;important;fill:none;important;fill:none;height:1em;important;important;important;important;important;

2026-09-03 23:21:39 69

原创【CCA（典型相关分析）】第六章_结果解读与报告撰写

典型载荷是原始变量与典型变量之间的相关（structure coefficient）。对标准化变量，载荷由"变量列与典型得分列的相关"给出——正是 5.3.3 节loadings()函数计算的对象。载荷的直接读法是解释清单U1U_1U1携带哪些 X 变量？看XjX_jXj与U1U_1U1的载荷：载荷高（绝对值大）说明该变量是U1U_1U1的实质成员，载荷低说明该变量与这重关联基本无关。

2026-09-03 23:20:58 195

原创【CCA（典型相关分析）】第五章经典CCA的实操实现

不依赖CCPfor (k in 0:(m - 1)) { # 从全对开始逐级剔除Lam <- prod(1 - rho[(k + 1):m]^2) # 剩余对的乘积out # 对应执行快照：逐行给出逐步检验表该函数的实现与 4.1.3、4.2.1 的公式一一对应——循环变量k每推进一档，检验对象就从"全体相关"剔除当前最大的那一对，这与图 4-5 的状态机逐状态同步，代码中的每次循环即图中的一个"剔除最大对"转移。

2026-09-03 23:20:16 135

原创【CCA（典型相关分析）】第四章经典CCA的统计检验

r10.95r_1=0.95r10.95时，U1U_1U1对YYY组方差的总解释可能不足 10%（若YYY组的大部分方差是组内特有的，与XXX组无关）。Stewart 与 Love（1968）给出的解是冗余指数：以XXX组方向为例，YYY组方差被XXX组第iii个典型变量UiU_iUi解释的比例为RdY∣Uiρi2×1q∑j1qcorr2YjUiRdY∣Uiρi2。

2026-09-03 23:19:45 159

原创【CCA（典型相关分析）】第三章数据准备与预处理

第二章的推导给出了一个干净的数学机器：输入协方差矩阵，输出典型相关系数。但机器对输入极其敏感——把某个变量放错组、用 20 个样本喂 40 个变量、让几个离群点混进协方差估计，特征方程依然"正常"地算出结果，只是结果毫无意义。本章处理的就是这台机器"上游"的全部问题：变量怎么分组、样本要多少、脏数据怎么洗、分布不满足怎么办。全章的预处理工作流与决策次序，如图 3-1 所示。important;important;fill:none;important;fill:none;height:1em;

2026-09-03 23:19:00 210

原创【CCA（典型相关分析）】第二章数学基础与理论推导

第一章我们把"两组变量的整体关联"压缩成了一个优化口号——找一对权重，让合成变量的相关最大。但口号不能直接交给软件执行：它需要被翻译成矩阵方程，方程的解还必须遵守"正交、递减、可解释"的纪律。第二章就是这座翻译车间。本章不写任何软件代码，只把 CCA 的数学内核从头推到尾——读者将亲眼看到"目标函数如何一步步变成特征方程"这一统计推断中最常见、也最值得反复体验的转化。本章的知识地基与推导路径，如图 2-1 所示。CCA数学内核概率基础矩阵工具优化推导统计性质多元正态协方差结构特征分解拉格朗日法目标函数特征方

2026-09-03 23:18:05 338

原创【CCA（典型相关分析）】第一章典型相关分析概述

<think>分析请求：根据给定章节内容生成≤150字的中文摘要。需提炼章节核心：CCA定义、解决多对多关联问题、通过线性组合最大化相关、依次提取多对典型变量、应用与扩展。背景：用户提供书籍章节"典型相关分析概述"全文，要求根据内容生成摘要。需简洁概括，约100字为宜。</think>摘要：典型相关分析（CCA）用于刻画两组变量间的整体关联，避免逐对相关过多且无法揭示背后共同结构的问题。其核心是分别对两组变量做线性合成，通过最大化综合变量间的相关系数，求得第一对典型变量；再在正交约束下递推提取后续各对。CC

2026-09-03 23:01:54 378

原创【学习型搜索与启发式算法（Learning-Based Search & Heuristics）】第 2 讲：问题建模与图表示

本讲建立了问题建模、图表示和编码器选择的完整框架：先把问题映射到图视角，再设计节点、边、全局三个层次的特征，最后根据问题结构选择 GNN、Transformer 或混合编码器。2025 年的 Position Paper 指出，图学习研究正在被不充分的数据集和评测拖慢，组合优化、数据库、芯片设计等更有价值的真实应用反而被忽视。它比节点特征更重要，因为组合优化的难点往往不在“单个对象是什么”，而在“对象之间如何约束、如何收益、如何冲突”。因此，问题建模不是预处理，而是算法设计的一部分。

2026-08-16 22:21:38 17

原创【学习型搜索与启发式算法（Learning-Based Search & Heuristics）】第 1 讲：从传统启发式到学习型启发式

目标读者：算法研究者、运筹优化工程师、ML4CO 入门者。

2026-08-16 22:16:50 20

原创【高维统计学】第四章 4.2：尖峰矩阵与稀疏回归，两个信息相变入口

分类：高维统计 / 稀疏回归 / 随机矩阵高维建模的第一步不是选算法，而是判断任务是否越过信息边界。本节用两个经典模型建立这种边界感：加性尖峰模型看低秩信号能否从噪声谱中突出，稀疏回归看稀疏度与样本量的相对尺度。

2026-08-02 23:07:39 184

原创【高维统计学】第四章 4.1：高维信息稀释，为什么经典渐近会失效

分类：高维统计 / 随机矩阵 / 机器学习理论低维统计里，我们习惯让样本量n单独增大。此时 Fisher 信息随n线性放大，方差按1/n收缩，极大似然估计渐近正态，后验围绕极大似然估计呈高斯分布。进入高维后，这些结论会集体失效。问题不在于样本量不够大，而在于维度p也参与极限。本文先回答一个总纲问题：当pn同阶增长时，经验信息矩阵为什么不随n放大？

2026-08-02 23:06:49 244

原创【高维统计学】第4章：高维渐近分析：从相变到工具的工程思维地图

当统计模型从低维进入高维，最容易犯的错误是把特征维度p当成固定常数，只讨论样本量n→∞。真实工程里，pn常常稳定在某个常数附近。这个看似微小的改动会全面改写结论：估计量的风险不再只由方差项主导，而是由维度与样本量的比值、设计矩阵的谱、先验的选择共同决定。本文不按讲义顺序复述，而是回答一个工程问题：当样本量和特征数同阶增长时，哪些经典结论仍然可信，哪些必须换成新的渐近语言。

2026-08-02 22:29:28 343

原创《《系列文章》》【统计-计算间隙：归约法的理论与实验】第16章：完整案例研究——社区检测中的统计-计算间隙

nnn个顶点，分为 2 个大小相等的社区社区标签σi∈±1σi∈±1（等概率分配）pinanpinanpoutbnpoutbndab2dab/2信噪比定义SNRa−b22aba−b24dSNR2aba−b24da−b2本章作为整个算法实现部分的压轴之作，通过社区检测这个"标准案例"，展示了统计-计算间隙研究的完整方法论：fill:#333;important;

2026-07-16 23:16:50 30