《最优化理论基础》8课时层次化教案

《最优化理论基础》8课时层次化教案

课程总目标

1. 掌握最优化核心理论（最优性条件、凸分析、对偶理论）；
2. 能独立实现经典优化算法（梯度法、牛顿法、约束优化建模）；
3. 理解优化理论与机器学习模型的关联（如逻辑回归、SVM）。

课程结构

前4课时：理论奠基

课时	主题	教学目标与关键内容	机器学习关联案例
1	最优性条件	- 目标：理解无约束优化的必要与充分条件	逻辑回归损失函数的最优解分析
		- 关键内容：Fermat定理、一阶/二阶最优性条件、驻点与鞍点区别
		- 作业：证明凸函数下局部最优即全局最优
2	凸集与凸函数	- 目标：掌握凸性判定方法	凸性在SVM支持向量中的作用
		- 关键内容：凸集定义、凸函数Jensen不等式、保凸运算（仿射变换、逐点极大）
		- 作业：证明线性函数与二次函数为凸函数
3	拉格朗日对偶理论	- 目标：能构建优化问题的对偶形式	支持向量机（SVM）对偶问题推导
		- 关键内容：Lagrange函数、强/弱对偶性、Slater条件
		- 作业：对偶化一个简单约束优化问题
4	KKT条件与约束优化	- 目标：熟练应用KKT条件分析约束优化问题	神经网络训练中的约束优化建模
		- 关键内容：互补松弛性、有效约束、几何解释
		- 作业：推导线性规划问题的KKT条件

后4课时：算法实践

课时	主题	教学目标与关键内容	代码实践任务（Python示例）
5	梯度下降法实现	- 目标：实现梯度下降法并分析步长影响	代码：逻辑回归参数优化
		- 关键公式：$x_{k+1}=x_k-\alpha \nabla f(x_k)$	任务：用梯度法训练线性回归模型
		- 作业：对比固定步长与Armijo线搜索的收敛速度
6	牛顿法与拟牛顿法	- 目标：理解二阶方法的优势与计算代价	代码：牛顿法求解二次规划
		- 关键公式：$x_{k+1}=x_k-{\nabla }^{2}f(x_k{)}^{-1}\nabla f(x_k)$	任务：实现BFGS算法更新Hessian
		- 作业：对比梯度法与牛顿法在Rosenbrock函数上的性能
7	约束优化建模与求解	- 目标：使用CVXPY或SciPy建模约束问题	代码：投资组合优化问题
		- 关键工具：cvxpy.Problem.solve()、scipy.optimize.minimize	任务：最小化风险下的收益最大化
		- 作业：用KKT条件验证求解器结果的正确性
8	综合项目：优化与机器学习	- 目标：将优化算法应用于实际模型	代码：Adam优化器实现神经网络
		- 关键内容：随机梯度下降（SGD）、动量法、自适应学习率	任务：训练MNIST分类器并调参
		- 作业：分析不同优化器在训练损失曲线上的差异

特色设计

1. 递进式实践：
   • 从单变量函数优化（课时5）→ 多变量非凸优化（课时6）→ 带约束的工程问题（课时7）→ 深度学习模型（课时8）。
2. 理论-代码对照：
   • 每课时提供公式的代码对应片段（如梯度公式→自动微分实现）。
3. 机器学习贯穿：
   • 逻辑回归（课时1）、SVM对偶问题（课时3）、神经网络优化（课时8）强化理论与应用联系。

评估方式

• 理论作业（40%）：最优性条件证明、对偶问题推导等；
• 编程任务（40%）：算法实现与结果可视化；
• 综合项目（20%）：优化算法在机器学习模型中的应用报告。

扩展资源

1. 教材：Boyd《Convex Optimization》第1-5章；
2. 工具：Jupyter Notebook、PyTorch自动微分库、CVXPY凸优化建模工具；
3. 数据集：UCI机器学习库、MNIST手写数字数据集。

通过该教案，学生既能深入理解优化理论，又能通过代码实现掌握算法核心，最终在机器学习场景中灵活应用。

课时1：最优性条件

教学目标

1. 理解无约束优化问题的必要与充分最优性条件；
2. 掌握梯度为零（Fermat定理）与Hessian矩阵正定性的意义；
3. 区分驻点、极值点与鞍点的差异；
4. 应用最优性条件分析逻辑回归的损失函数最优解。

1. 无约束优化问题的数学描述

问题定义：
寻找函数 $f(x)$ 的极小值点，其中 $x\in {\mathbb{R}}^n$，无约束条件：
$$\underset{x}{\min }f(x)$$

• 局部极小值：存在邻域 $N_{ϵ}(x^{\ast })$，使得 $f(x^{\ast })\le f(x)$ 对所有 $x\in N_{ϵ}(x^{\ast })$ 成立。
• 全局极小值：$f(x^{\ast })\le f(x)$ 对所有 $x\in {\mathbb{R}}^n$ 成立。

2. 一阶最优性条件：Fermat定理

定理内容：
若 $x^{\ast }$ 是 $f(x)$ 的局部极值点，且 $f(x)$ 在 $x^{\ast }$ 处可微，则：
$$\nabla f(x^{\ast })=0$$
证明（单变量情况）：
假设 $x^{\ast }$ 是极小值点，由泰勒展开：
$$f(x^{\ast }+h)=f(x^{\ast })+f^{\prime }(x^{\ast })h+o(h)$$
当 $h\to 0$ 时，若 $f^{\prime }(x^{\ast })\ne 0$，取 $h=-\text{sign}(f^{\prime }(x^{\ast }))\cdot ϵ$，则 $f(x^{\ast }+h)<f(x^{\ast })$，矛盾。故 $f^{\prime }(x^{\ast })=0$。

3. 二阶最优性条件

必要条件

若 $x^{\ast }$ 是局部极小值点且 $f(x)$ 二阶可微，则：

1. $\nabla f(x^{\ast })=0$；
2. Hessian矩阵 ${\nabla }^{2}f(x^{\ast })$ 半正定：$d^{\top }{\nabla }^{2}f(x^{\ast })d\ge 0\forall d\in {\mathbb{R}}^n$。

充分条件

若 $\nabla f(x^{\ast })=0$ 且 ${\nabla }^{2}f(x^{\ast })$ 正定，则 $x^{\ast }$ 是严格局部极小值点。

证明（多变量情况）：
由泰勒展开：
$$f(x^{\ast }+d)=f(x^{\ast })+\nabla f(x^{\ast }{)}^{\top }d+\frac{1}{2}{d}^{\top }{\nabla }^{2}f(x^{\ast })d+o(\Vert d{\Vert }^2)$$
当 $\nabla f(x^{\ast })=0$，若 ${\nabla }^{2}f(x^{\ast })$ 正定，则存在 $\alpha >0$ 使得：
$$\frac{1}{2}{d}^{\top }{\nabla }^{2}f(x^{\ast })d\ge \alpha \Vert d{\Vert }^2$$
因此，当 $\Vert d\Vert$ 足够小时，$f(x^{\ast }+d)>f(x^{\ast })$，即 $x^{\ast }$ 为严格极小值点。

4. 驻点、鞍点与极值点的区别

• 驻点：满足 $\nabla f(x)=0$ 的点，可能是极小值、极大值或鞍点。
• 鞍点：Hessian矩阵既不正定也不负定（即存在正负特征值）。

示例1：鞍点分析
函数 $f(x,y)=x^2-y^2$：

• 梯度：$\nabla f=[2x,-2y{]}^{\top }$，驻点为 $(0,0)$；
• Hessian矩阵：
  $${\nabla }^{2}f=\left[\begin{array}{cc}2& 0\\ 0& -2\end{array}\right]$$
  特征值为 $2$ 和 $-2$，故 $(0,0)$ 是鞍点。

5. 典型示例与解答

示例2：二次函数的最优解

函数 $f(x)=\frac{1}{2}{x}^{\top }Qx+b^{\top }x$，其中 $Q$ 对称正定：

• 梯度：$\nabla f(x)=Qx+b$，令其为零得解 $x^{\ast }=-Q^{-1}b$；
• Hessian矩阵 $Q$ 正定，故 $x^{\ast }$ 是全局极小值点。

数值案例：
设 $Q=\left[\begin{array}{cc}2& 1\\ 1& 2\end{array}\right]$，$b=\left[\begin{array}{c}-1\\ -3\end{array}\right]$，则：
$$x^{\ast }=-\frac{1}{3}\left[\begin{array}{cc}2& -1\\ -1& 2\end{array}\right]\left[\begin{array}{c}-1\\ -3\end{array}\right]=\left[\begin{array}{c}1\\ 1\end{array}\right]$$
验证 $\nabla f(x^{\ast })=0$，Hessian正定。

6. 机器学习案例：逻辑回归的最优解

逻辑回归损失函数（对数似然损失）：
$$J(w)=-\frac{1}{m}\sum _{i=1}^m\left[y_i\log \sigma (w^{\top }{x}_i)+(1-y_i)\log (1-\sigma (w^{\top }{x}_i))\right]$$
其中 $\sigma (z)=\frac{1}{1+e^{-z}}$。

最优性条件应用：

1. 梯度计算：
   $$\nabla J(w)=\frac{1}{m}\sum _{i=1}^m(\sigma (w^{\top }{x}_i)-y_i)x_i$$
2. 最优解条件：令 $\nabla J(w)=0$，方程无闭式解，需用梯度下降法迭代求解。
3. 凸性保证：Hessian矩阵 ${\nabla }^{2}J(w)$ 半正定（证明略），因此局部极小即全局极小。

7. 课后作业

1. 理论证明：证明若 $f(x)$ 是凸函数且可微，则满足 $\nabla f(x^{\ast })=0$ 的点 $x^{\ast }$ 是全局极小值点。
2. 编程任务：用Python实现梯度下降法求解 $f(x)=x^2+3x+4$ 的最小值，并可视化迭代过程。

关键点总结

1. Fermat定理：极值点处梯度必为零；
2. 二阶条件：Hessian矩阵正定性决定极值类型；
3. 鞍点危害：在高维非凸优化（如神经网络）中需警惕；
4. 机器学习关联：逻辑回归的凸性保证全局最优解存在。

通过理论推导与实例结合，学生可深入理解最优性条件的数学本质及其在算法中的应用。

课时2：凸集与凸函数

教学目标

1. 掌握凸集与凸函数的定义及判定方法；
2. 理解Jensen不等式与保凸运算的规则；
3. 应用凸性分析支持向量机（SVM）的优化问题；
4. 能独立证明常见函数（如线性函数、二次函数）的凸性。

1. 凸集的定义与判定

定义：
集合 $C\subseteq {\mathbb{R}}^n$ 是凸集，若对任意 $x_1,x_2\in C$ 和 $\theta \in [0,1]$，有：
$$\theta x_1+(1-\theta )x_2\in C$$
几何意义：集合中任意两点的连线仍在集合内。

示例1：凸集与非凸集

• 凸集：超球 { x ∣ ∥ x ∥ 2 ≤ r } \{x \mid \|x\|_2 \leq r\} {x∣∥x∥2​≤r}、仿射集 { x ∣ A x = b } \{x \mid Ax = b\} {x∣Ax=b}。
• 非凸集：环形区域 { x ∣ 1 < ∥ x ∥ 2 < 2 } \{x \mid 1 < \|x\|_2 < 2\} {x∣1<∥x∥2​<2}。

判定方法：
通过定义直接验证，或利用凸集运算性质：

• 任意多个凸集的交集仍是凸集；
• 仿射变换（平移、旋转、缩放）保持凸性。

2. 凸函数的定义与判定

定义：
函数 $f:{\mathbb{R}}^n\to \mathbb{R}$ 是凸函数，若对任意 $x,y\in \text{dom}(f)$ 和 $\theta \in [0,1]$，有：
$$f(\theta x+(1-\theta )y)\le \theta f(x)+(1-\theta )f(y)$$
严格凸：当不等式严格成立（$x\ne y$ 且 $\theta \in (0,1)$）。

判定方法

1. 一阶条件（可微函数）：
   $$f(y)\ge f(x)+\nabla f(x{)}^{\top }(y-x)\forall x,y\in \text{dom}(f)$$
2. 二阶条件（二阶可微函数）：
   Hessian矩阵 ${\nabla }^{2}f(x)$ 半正定，即：
   $$d^{\top }{\nabla }^{2}f(x)d\ge 0\forall d\in {\mathbb{R}}^n$$

3. Jensen不等式与保凸运算

Jensen不等式

若 $f$ 是凸函数，$x_i\in \text{dom}(f)$，${\theta }_i\ge 0$ 且 $\sum {\theta }_i=1$，则：
$$f\left(\sum _{i=1}^k{\theta }_i{x}_i\right)\le \sum _{i=1}^k{\theta }_{i}f(x_i)$$
应用：证明熵函数、指数函数的凸性。

保凸运算

1. 仿射变换：若 $f(x)$ 凸，则 $g(x)=f(Ax+b)$ 凸；
2. 逐点极大：若 $f_1,f_2$ 凸，则 h ( x ) = max ⁡ { f 1 ( x ) , f 2 ( x ) } h(x) = \max\{f_1(x), f_2(x)\} h(x)=max{f1​(x),f2​(x)} 凸；
3. 非负加权和：若 $f_i$ 凸且 ${\alpha }_i\ge 0$，则 $\sum {\alpha }_i{f}_i(x)$ 凸。

示例2：逐点极大函数的凸性证明
设 $f_1,f_2$ 为凸函数，定义 h ( x ) = max ⁡ { f 1 ( x ) , f 2 ( x ) } h(x) = \max\{f_1(x), f_2(x)\} h(x)=max{f1​(x),f2​(x)}，对任意 $x,y$ 和 $\theta \in [0,1]$，有：
h ( θ x + ( 1 − θ ) y ) = max ⁡ { f 1 ( θ x + ( 1 − θ ) y ) , f 2 ( θ x + ( 1 − θ ) y ) } ≤ max ⁡ { θ f 1 ( x ) + ( 1 − θ ) f 1 ( y ) , θ f 2 ( x ) + ( 1 − θ ) f 2 ( y ) } ≤ θ max ⁡ { f 1 ( x ) , f 2 ( x ) } + ( 1 − θ ) max ⁡ { f 1 ( y ) , f 2 ( y ) } = θ h ( x ) + ( 1 − θ ) h ( y ) h(\theta x + (1-\theta)y) = \max\{f_1(\theta x + (1-\theta)y), f_2(\theta x + (1-\theta)y)\} \leq \max\{\theta f_1(x) + (1-\theta)f_1(y), \theta f_2(x) + (1-\theta)f_2(y)\} \leq \theta \max\{f_1(x), f_2(x)\} + (1-\theta)\max\{f_1(y), f_2(y)\} = \theta h(x) + (1-\theta)h(y) h(θx+(1−θ)y)=max{f1​(θx+(1−θ)y),f2​(θx+(1−θ)y)}≤max{θf1​(x)+(1−θ)f1​(y),θf2​(x)+(1−θ)f2​(y)}≤θmax{f1​(x),f2​(x)}+(1−θ)max{f1​(y),f2​(y)}=θh(x)+(1−θ)h(y)

4. 典型示例与解答

示例3：线性函数的凸性

函数 $f(x)=a^{\top }x+b$ 是凸函数：

• 一阶条件：对任意 $x,y$，有 $f(y)=f(x)+a^{\top }(y-x)$，即满足 $f(y)=f(x)+\nabla f(x{)}^{\top }(y-x)$，符合凸函数定义。
• 二阶条件：Hessian矩阵 ${\nabla }^{2}f(x)=0$，半正定。

示例4：二次函数的凸性判定

函数 $f(x)=x^{\top }Qx+b^{\top }x+c$，其中 $Q$ 对称：

• 梯度：$\nabla f(x)=2Qx+b$；
• Hessian矩阵：${\nabla }^{2}f(x)=2Q$；
• 凸性条件：当且仅当 $Q$ 半正定时，$f(x)$ 是凸函数。

数值案例：
设 $Q=\left[\begin{array}{cc}2& 1\\ 1& 3\end{array}\right]$，其特征值为 ${\lambda }_1\approx 1.38$, ${\lambda }_2\approx 3.62$，均正定，故 $f(x)$ 是严格凸函数。

5. 机器学习案例：SVM中的凸性保证

SVM优化问题：
$$\underset{w,b}{\min }\frac{1}{2}\Vert w{\Vert }^2\text{s.t.}{y}_i(w^{\top }{x}_i+b)\ge 1(i=1,\dots ,m)$$
凸性分析：

1. 目标函数：$\frac{1}{2}\Vert w{\Vert }^2$ 是凸函数（二次函数，Hessian正定）；
2. 约束条件：线性不等式 $y_i(w^{\top }{x}_i+b)\ge 1$ 定义凸集；
3. 结论：SVM是凸优化问题，局部解即全局解，且对偶问题可通过凸性保证强对偶性成立。

6. 课后作业

1. 理论证明：
   • 证明仿射函数 $f(x)=a^{\top }x+b$ 既是凸函数又是凹函数；
   • 验证函数 $f(x,y)=e^{x+y}$ 的凸性（使用二阶条件）。
2. 编程任务：
   • 用Python绘制二元凸函数 $f(x,y)=x^2+xy+y^2$ 的等高线图，并标注驻点。

关键点总结

1. 凸集：任意两点连线在集合内；
2. 凸函数：Jensen不等式成立或Hessian半正定；
3. 保凸运算：仿射变换、逐点极大、非负加权和；
4. SVM关联：凸性确保全局最优解，避免陷入局部极值。

通过理论推导与实例结合，学生可掌握凸性分析的核心工具，并为后续约束优化与算法实现奠定基础。

课时3：拉格朗日对偶理论

教学目标

1. 掌握拉格朗日函数与对偶问题的构建方法；
2. 理解弱对偶性与强对偶性的条件（如Slater条件）；
3. 能推导支持向量机（SVM）的对偶问题；
4. 分析对偶问题在优化中的实际意义（如降低计算复杂度）。

1. 原始问题与拉格朗日函数

标准形式优化问题：
$$\begin{array}{rl}\underset{x}{\min }& f(x)\\ \text{s.t.}& g_i(x)\le 0(i=1,\dots ,m)\\ & h_j(x)=0(j=1,\dots ,p)\end{array}$$
拉格朗日函数：引入乘子 ${\lambda }_i\ge 0$（不等式约束）和 ${\nu }_j$（等式约束）：
$$L(x,\lambda ,\nu )=f(x)+\sum _{i=1}^m{\lambda }_i{g}_i(x)+\sum _{j=1}^p{\nu }_j{h}_j(x)$$

2. 对偶函数与对偶问题

对偶函数：
$$g(\lambda ,\nu )=\underset{x}{\inf }L(x,\lambda ,\nu )$$
对偶问题：
$$\begin{array}{rl}\underset{\lambda ,\nu }{\max }& g(\lambda ,\nu )\\ \text{s.t.}& {\lambda }_i\ge 0(i=1,\dots ,m)\end{array}$$

弱对偶性：对任意可行 $\lambda \ge 0$，有
$$g(\lambda ,\nu )\le f(x)\text{（原问题最优值）}$$
强对偶性：若原问题为凸且满足Slater条件（存在严格可行解），则对偶间隙为零：
$$\underset{\lambda \ge 0,\nu }{\max }g(\lambda ,\nu )=\underset{x}{\min }f(x)$$

3. Slater条件与强对偶性证明

Slater条件：存在一点 $x_0$，使得：
$$g_i(x_0)<0(\forall i),h_j(x_0)=0(\forall j)$$
几何解释：原问题的可行域与目标函数下水平集存在非空交集，确保对偶问题可达原问题最优。

4. 典型示例与解答

示例1：二次规划问题的对偶推导

原问题：
$$\begin{array}{rl}\underset{x}{\min }& x^2\\ \text{s.t.}& x\ge 1\end{array}$$
拉格朗日函数：
$$L(x,\lambda )=x^2+\lambda (1-x)$$
对偶函数：
$$g(\lambda )=\underset{x}{\inf }\left(x^2-\lambda x+\lambda \right)$$
对 $x$ 求导得驻点 $x^{\ast }=\frac{\lambda }{2}$，代入得：
$$g(\lambda )=-\frac{{\lambda }^2}{4}+\lambda$$
对偶问题：
$$\underset{\lambda \ge 0}{\max }\left(-\frac{{\lambda }^2}{4}+\lambda \right)$$
求导得最优解 ${\lambda }^{\ast }=2$，对应原问题最优解 $x^{\ast }=1$，验证强对偶性成立。

5. 机器学习案例：SVM对偶问题推导

SVM原问题（硬间隔）：
$$\begin{array}{rl}\underset{w,b}{\min }& \frac{1}{2}\Vert w{\Vert }^2\\ \text{s.t.}& y_i(w^{\top }{x}_i+b)\ge 1(i=1,\dots ,m)\end{array}$$
拉格朗日函数：
$$L(w,b,\alpha )=\frac{1}{2}\Vert w{\Vert }^2-\sum _{i=1}^m{\alpha }_i\left[y_i(w^{\top }{x}_i+b)-1\right]$$
对偶函数：

1. 对 $w$ 和 $b$ 求导并置零：
   $$w=\sum _{i=1}^m{\alpha }_i{y}_i{x}_i,\sum _{i=1}^m{\alpha }_i{y}_i=0$$
2. 代入拉格朗日函数得对偶问题：
   $$\underset{\alpha \ge 0}{\max }\left(\sum _{i=1}^m{\alpha }_i-\frac{1}{2}\sum _{i,j}{\alpha }_i{\alpha }_j{y}_i{y}_j{x}_i^{\top }{x}_j\right)$$
   KKT条件：

• 互补松弛性：${\alpha }_i[y_i(w^{\top }{x}_i+b)-1]=0$
• 支持向量对应 ${\alpha }_i>0$，即 $y_i(w^{\top }{x}_i+b)=1$。

6. 课后作业

1. 理论证明：
   • 验证函数 $f(x)=x_1^2+x_2^2$ 在约束 $x_1+x_2\ge 2$ 下的强对偶性；
   • 证明Slater条件在凸优化问题中的必要性。
2. 编程任务：
   • 用Python实现简单线性SVM的对偶问题求解，可视化支持向量与分类超平面。

关键点总结

1. 对偶函数：通过极小化拉格朗日函数得到原问题的下界；
2. 强对偶性：凸问题+Slater条件保证对偶无间隙；
3. SVM对偶优势：核技巧（替换 $x_i^{\top }{x}_j$ 为核函数 $K(x_i,x_j)$）；
4. 应用意义：对偶问题常更易求解，或揭示问题结构（如支持向量）。

通过理论推导与实例结合，学生将掌握对偶理论的核心思想，并为后续约束优化算法（如内点法）奠定基础。

课时4：KKT条件与约束优化

教学目标

1. 掌握KKT条件的数学形式及其应用场景；
2. 理解互补松弛性与有效约束的几何意义；
3. 能独立推导线性规划问题的KKT条件；
4. 分析神经网络训练中约束优化的实际案例。

1. 约束优化问题的一般形式

问题定义：
$$\begin{array}{rl}\underset{x}{\min }& f(x)\\ \text{s.t.}& g_i(x)\le 0(i=1,\dots ,m)\\ & h_j(x)=0(j=1,\dots ,p)\end{array}$$

• 不等式约束 $g_i(x)\le 0$，等式约束 $h_j(x)=0$。

2. KKT条件的推导

必要条件（当原问题满足约束规格，如Slater条件时）：

若 $x^{\ast }$ 是局部最优解，则存在拉格朗日乘子 ${\lambda }_i\ge 0$ 和 ${\nu }_j$，使得：

1. 平稳性条件：
   $$\nabla f(x^{\ast })+\sum _{i=1}^m{\lambda }_i\nabla g_i(x^{\ast })+\sum _{j=1}^p{\nu }_j\nabla h_j(x^{\ast })=0$$
2. 原始可行性：
   $$g_i(x^{\ast })\le 0,h_j(x^{\ast })=0(\forall i,j)$$
3. 对偶可行性：
   $${\lambda }_i\ge 0(\forall i)$$
4. 互补松弛性：
   $${\lambda }_i{g}_i(x^{\ast })=0(\forall i)$$

几何解释：

• 在最优解处，目标函数梯度是约束梯度的非负线性组合。
• 互补松弛性表明，非活跃约束（$g_i(x^{\ast })<0$）对应的 ${\lambda }_i=0$。

3. 典型示例与解答

示例1：线性规划问题的KKT条件

原问题：
$$\begin{array}{rl}\underset{x}{\min }& c^{\top }x\\ \text{s.t.}& Ax\le b(A\in {\mathbb{R}}^{m\times n},b\in {\mathbb{R}}^m)\end{array}$$
拉格朗日函数：
$$L(x,\lambda )=c^{\top }x+{\lambda }^{\top }(Ax-b)$$
KKT条件：

1. 平稳性：$c+A^{\top }\lambda =0$；
2. 原始可行：$Ax\le b$；
3. 对偶可行：$\lambda \ge 0$；
4. 互补松弛：${\lambda }_i(A_{i}x-b_i)=0(\forall i)$。

数值案例：
设 $c=\left[\begin{array}{c}2\\ 3\end{array}\right]$，$A=\left[\begin{array}{cc}-1& 0\\ 0& -1\end{array}\right]$，$b=\left[\begin{array}{c}0\\ 0\end{array}\right]$，即约束 $x_1\ge 0$, $x_2\ge 0$。

• 最优解显然为 $x^{\ast }=[0,0{]}^{\top }$；
• 代入KKT条件：
  • $c+A^{\top }\lambda =\left[\begin{array}{c}2-{\lambda }_1\\ 3-{\lambda }_2\end{array}\right]=0$ ⇒ $\lambda =[2,3{]}^{\top }\ge 0$，满足所有条件。

4. 机器学习案例：神经网络训练中的约束优化

问题描述：
在神经网络中施加权重约束（如L2范数限制），防止过拟合：
$$\begin{array}{rl}\underset{W}{\min }& \frac{1}{m}\sum _{i=1}^m\mathcal{L}(y_i,f(x_i;W))\\ \text{s.t.}& \Vert W{\Vert }_2^2\le C\end{array}$$
KKT条件应用：

1. 拉格朗日函数：
   $$L(W,\lambda )=\frac{1}{m}\sum \mathcal{L}(y_i,f(x_i;W))+\lambda (\Vert W{\Vert }_2^2-C)$$
2. 平稳性条件：
   $${\nabla }_W\mathcal{L}+2\lambda W=0\Rightarrow W=-\frac{{\nabla }_W\mathcal{L}}{2\lambda }$$
3. 互补松弛性：
   • 若 $\Vert W{\Vert }_2^2<C$，则 $\lambda =0$，退化为无约束问题；
   • 若 $\Vert W{\Vert }_2^2=C$，需通过调整 $\lambda$ 满足梯度条件。

5. 课后作业

1. 理论证明：
   • 证明在凸优化问题中，若Slater条件成立，则KKT条件是最优解的充要条件。
2. 编程任务：
   • 用Python求解带约束的二次规划问题：
     $$\begin{array}{rl}\min & x_1^2+x_2^2+x_1{x}_2\\ \text{s.t.}& x_1+x_2\ge 1\\ & x_1,x_2\ge 0\end{array}$$
     验证解是否满足KKT条件。

关键点总结

1. KKT条件：约束优化的核心工具，结合梯度、可行性与互补性；
2. 互补松弛性：区分活跃与非活跃约束，简化问题规模；
3. 实际应用：从线性规划到深度学习，约束控制模型行为；
4. 凸问题特性：KKT条件在凸性+Slater条件下保证全局最优。

通过理论推导与实例结合，学生将深入理解约束优化的数学本质，并为复杂模型设计提供理论支持。

课时5：梯度下降法实现

教学目标

1. 掌握梯度下降法的迭代公式与步长选择策略；
2. 实现梯度下降法求解线性回归与逻辑回归参数；
3. 分析固定步长与自适应步长（Armijo准则）的收敛特性；
4. 理解梯度下降法在机器学习中的实际应用场景。

1. 梯度下降法原理与公式推导

基本迭代公式

目标：求解无约束优化问题 ${\min }_{x}f(x)$，迭代更新为：
$$x_{k+1}=x_k-{\alpha }_k\nabla f(x_k)$$

• ${\alpha }_k$：步长（学习率）；
• $\nabla f(x_k)$：当前点的梯度方向。

步长选择策略

1. 固定步长：${\alpha }_k=\alpha$（需满足收敛条件 $\alpha <\frac{2}{L}$，$L$ 为梯度 Lipschitz 常数）。
2. Armijo线搜索：自适应选择步长，确保函数值充分下降：
   $$f(x_k-\alpha \nabla f(x_k))\le f(x_k)-c\alpha \Vert \nabla f(x_k){\Vert }^2(c\in (0,1))$$

2. 典型示例与解答

示例1：二次函数的最小化

目标函数 $f(x)=x^2+3x+4$，其梯度为 $\nabla f(x)=2x+3$。
迭代过程：

1. 初始值：设 $x_0=0$，步长 $\alpha =0.1$。
2. 迭代计算：
   $$\begin{array}{rl}{x}_1& =x_0-0.1\cdot (2\cdot 0+3)=-0.3\\ x_2& =-0.3-0.1\cdot (2\cdot (-0.3)+3)=-0.3-0.24=-0.54\\ & ⋮\\ x_k& \to x^{\ast }=-1.5(\text{解析解为驻点 }{x}^{\ast }=-1.5)\end{array}$$
   可视化：绘制 $f(x)$ 曲线与迭代点序列，显示向最小值点收敛路径。

示例2：Armijo准则实现

对 $f(x)=x^2$，初始点 $x_0=2$，参数 $c=0.5$，初始步长 ${\alpha }_0=1$。
迭代步骤：

1. 检查Armijo条件：
   $$f(x_0-{\alpha }_0\nabla f(x_0))=(2-1\cdot 4{)}^2=4,f(x_0)-c{\alpha }_0\Vert \nabla f(x_0){\Vert }^2=4-0.5\cdot 1\cdot 16=-4$$
   不满足条件，缩小步长 $\alpha =\beta \alpha$（设 $\beta =0.5$），直至满足条件。
2. 最终收敛步长 $\alpha =0.25$，迭代至 $x^{\ast }=0$。

3. 机器学习案例：逻辑回归参数优化

逻辑回归模型：
预测函数 $h_{\theta }(x)=\sigma ({\theta }^{\top }x)$，损失函数（交叉熵）：
$$J(\theta )=-\frac{1}{m}\sum _{i=1}^m\left[y_i\log h_{\theta }(x_i)+(1-y_i)\log (1-h_{\theta }(x_i))\right]$$
梯度计算：
$${\nabla }_{\theta }J(\theta )=\frac{1}{m}\sum _{i=1}^m(h_{\theta }(x_i)-y_i)x_i$$

梯度下降迭代步骤（Python伪代码）：

def gradient_descent(X, y, theta_init, alpha, max_iters):
    theta = theta_init
    for _ in range(max_iters):
        h = sigmoid(X @ theta)  # 计算预测概率
        gradient = X.T @ (h - y) / len(y)  # 计算梯度
        theta -= alpha * gradient  # 参数更新
    return theta

实验任务：

• 使用Iris数据集二分类，可视化梯度下降过程中损失函数下降曲线。
• 对比固定步长 $\alpha =0.1$ 与Armijo步长的收敛速度。

4. 课后作业

1. 理论证明：
   • 证明梯度下降法在固定步长 $\alpha <\frac{2}{L}$ 时，函数值单调下降（利用泰勒展开）。
2. 编程任务：
   • 实现梯度下降法求解线性回归问题 ${\min }_w\Vert Xw-y{\Vert }^2$，并可视化不同步长下的收敛轨迹。
   • 在MNIST数据集上，用梯度下降法训练逻辑回归模型，记录训练集准确率随迭代次数的变化。

关键点总结

1. 梯度方向：函数下降最快的局部方向；
2. 步长选择：固定步长需满足Lipschitz条件，自适应步长提升鲁棒性；
3. 机器学习应用：逻辑回归、线性回归等模型的参数优化基础；
4. 收敛性：凸函数下梯度下降法保证全局收敛，非凸函数可能陷入局部极小。

通过理论推导与代码实践，学生将掌握梯度下降法的实现细节，并理解其在机器学习中的核心地位。

课时6：牛顿法与拟牛顿法

教学目标

1. 掌握牛顿法的迭代公式及其二阶收敛性原理；
2. 理解拟牛顿法（BFGS、DFP）的核心思想与更新规则；
3. 实现牛顿法求解二次规划问题；
4. 分析牛顿法在非凸优化中的局限性及改进策略。

1. 牛顿法的原理与公式推导

二阶泰勒展开与极值条件

目标函数 $f(x)$ 在 $x_k$ 处的二阶泰勒展开：
$$f(x)\approx f(x_k)+\nabla f(x_k{)}^{\top }(x-x_k)+\frac{1}{2}(x-x_k{)}^{\top }{\nabla }^{2}f(x_k)(x-x_k)$$
对近似函数求极小值点，令导数为零：
$$\nabla f(x_k)+{\nabla }^{2}f(x_k)(x-x_k)=0\Rightarrow x_{k+1}=x_k-{\nabla }^{2}f(x_k{)}^{-1}\nabla f(x_k)$$

牛顿法迭代公式

$$x_{k+1}=x_k-H_k^{-1}{g}_k\text{（Hk=∇2f(xk)，gk=∇f(xk)）}$$
优点：若 $f(x)$ 强凸且二阶光滑，牛顿法具有二次收敛速度。
缺点：需计算并求逆Hessian矩阵，计算复杂度 $O(n^3)$。

2. 拟牛顿法：BFGS与DFP更新

核心思想：用近似矩阵 $B_k\approx H_k$ 替代Hessian，避免直接求逆。

BFGS更新公式

1. 定义 $s_k=x_{k+1}-x_k$，$y_k=\nabla f(x_{k+1})-\nabla f(x_k)$。
2. BFGS矩阵更新：
   $$B_{k+1}=B_k+\frac{y_k{y}_k^{\top }}{y_k^{\top }{s}_k}-\frac{B_k{s}_k{s}_k^{\top }{B}_k}{s_k^{\top }{B}_k{s}_k}$$
   特性：保持矩阵对称正定性，满足割线条件 $B_{k+1}{s}_k=y_k$。

DFP更新公式

$$B_{k+1}=B_k+\frac{y_k{y}_k^{\top }}{y_k^{\top }{s}_k}-\frac{B_k{s}_k{s}_k^{\top }{B}_k}{s_k^{\top }{B}_k{s}_k}$$
对比：BFGS更稳定，DFP对初始矩阵敏感。

3. 典型示例与解答

示例1：牛顿法求解二次规划

目标函数 $f(x)=\frac{1}{2}{x}^{\top }Qx+b^{\top }x$，其中 $Q=\left[\begin{array}{cc}4& 1\\ 1& 3\end{array}\right]$，$b=\left[\begin{array}{c}-1\\ -2\end{array}\right]$。
解析解：$x^{\ast }=-Q^{-1}b=\left[\begin{array}{c}0.2\\ 0.6\end{array}\right]$。
牛顿法迭代：

1. 初始点：$x_0=\left[\begin{array}{c}0\\ 0\end{array}\right]$，计算梯度 $g_0=Q{x}_0+b=\left[\begin{array}{c}-1\\ -2\end{array}\right]$。
2. Hessian逆：$H_0^{-1}=Q^{-1}=\frac{1}{11}\left[\begin{array}{cc}3& -1\\ -1& 4\end{array}\right]$。
3. 迭代步：
   $$x_1=x_0-H_0^{-1}{g}_0=\left[\begin{array}{c}0\\ 0\end{array}\right]-\frac{1}{11}\left[\begin{array}{cc}3& -1\\ -1& 4\end{array}\right]\left[\begin{array}{c}-1\\ -2\end{array}\right]=\left[\begin{array}{c}0.2\\ 0.6\end{array}\right]$$
   结论：一步收敛至解析解，验证二次收敛性。

示例2：BFGS算法实现Rosenbrock函数优化

目标函数 $f(x)=100(x_2-x_1^2{)}^2+(1-x_1{)}^2$（经典非凸函数）。
初始点：$x_0=\left[\begin{array}{c}-1.2\\ 1\end{array}\right]$，初始 $B_0=I$。
迭代步骤（部分）：

1. 计算梯度：
   $$\nabla f(x)=\left[\begin{array}{c}-400x_1(x_2-x_1^2)-2(1-x_1)\\ 200(x_2-x_1^2)\end{array}\right]$$
2. 更新方向：$d_k=-B_k^{-1}\nabla f(x_k)$。
3. 线搜索：选择步长 ${\alpha }_k$ 满足Wolfe条件。
4. 更新 $B_k$：按BFGS公式迭代。
   结果：约20次迭代收敛至极小点 $x^{\ast }=[1,1{]}^{\top }$。

4. 机器学习案例：逻辑回归的牛顿法优化

逻辑回归损失函数：
$$J(\theta )=-\frac{1}{m}\sum _{i=1}^m\left[y_i\log h_{\theta }(x_i)+(1-y_i)\log (1-h_{\theta }(x_i))\right]$$
牛顿法迭代步骤：

1. 计算梯度：$\nabla J(\theta )=\frac{1}{m}{X}^{\top }(h_{\theta }-y)$。
2. 计算Hessian：$H=\frac{1}{m}{X}^{\top }SX$，其中 $S=\text{diag}(h_{\theta }(x_i)(1-h_{\theta }(x_i)))$。
3. 参数更新：${\theta }_{k+1}={\theta }_k-H^{-1}\nabla J({\theta }_k)$。
   优势：相比梯度下降，牛顿法在参数较少时收敛更快（如小规模数据集）。

5. 课后作业

1. 理论证明：
   • 证明牛顿法在强凸二次函数上一步收敛；
   • 推导BFGS更新公式满足割线条件 $B_{k+1}{s}_k=y_k$。
2. 编程任务：
   • 用Python实现BFGS算法优化Rosenbrock函数，并与梯度下降法对比迭代次数；
   • 在UCI乳腺癌数据集上，用牛顿法训练逻辑回归模型，记录测试集准确率。

关键点总结

1. 牛顿法：利用二阶信息实现快速收敛，但需处理Hessian矩阵；
2. 拟牛顿法：通过近似Hessian降低计算量，BFGS为常用方法；
3. 非凸问题：牛顿法可能收敛到鞍点，需结合正则化或混合策略；
4. 应用场景：参数较少的机器学习模型（如逻辑回归）、工程优化问题。

通过理论推导与实例结合，学生将掌握二阶优化算法的核心思想，并理解其在大规模数据与复杂模型中的适用性。

课时7：约束优化建模与求解

教学目标

1. 掌握使用CVXPY或SciPy建模约束优化问题的方法；
2. 理解商业求解器（如Gurobi）与开源工具（如SciPy）的核心原理；
3. 能独立实现投资组合优化问题的建模与求解；
4. 验证求解结果是否满足KKT条件，确保解的可行性。

1. 约束优化问题分类与建模框架

问题类型

• 线性规划（LP）：目标函数与约束均为线性，如资源分配问题。
• 二次规划（QP）：目标函数为二次型，约束为线性，如投资组合优化。
• 非线性规划（NLP）：目标函数或约束包含非线性项，如工程控制问题。

建模步骤

1. 定义变量：确定决策变量 $x\in {\mathbb{R}}^n$。
2. 目标函数：明确优化目标（最小化或最大化）。
3. 约束条件：列出等式与不等式约束。
4. 调用求解器：使用CVXPY或SciPy将问题标准化并求解。

2. 工具使用示例：CVXPY与SciPy

CVXPY建模语法

import cvxpy as cp

# 定义变量
x = cp.Variable(n)

# 定义目标函数和约束
objective = cp.Minimize(c.T @ x)
constraints = [A @ x <= b, x >= 0]

# 构建问题并求解
prob = cp.Problem(objective, constraints)
prob.solve()

# 输出结果
print("最优值:", x.value)

SciPy的minimize函数

from scipy.optimize import minimize

# 定义目标函数和约束
def objective(x):
    return x[0]**2 + x[1]**2 + x[0]*x[1]

cons = ({'type': 'ineq', 'fun': lambda x: x[0] + x[1] - 1},
        {'type': 'ineq', 'fun': lambda x: x[0]},
        {'type': 'ineq', 'fun': lambda x: x[1]})

# 初始猜测与求解
x0 = [0.5, 0.5]
result = minimize(objective, x0, constraints=cons)
print("最优解:", result.x)

3. 典型示例：投资组合优化问题

问题描述

• 目标：在给定收益下限下最小化投资风险（方差）。
• 变量：资产权重向量 $w\in {\mathbb{R}}^n$。
• 数学模型：
  $$\begin{array}{rl}\underset{w}{\min }& \frac{1}{2}{w}^{\top }\Sigma w\\ \text{s.t.}& {\mu }^{\top }w\ge R_{\text{min}}\\ & 1^{\top }w=1\\ & w\ge 0\end{array}$$
  其中 $\Sigma$ 为协方差矩阵，$\mu$ 为预期收益率，$R_{\text{min}}$ 为最低收益要求。

数据准备

假设三种资产：

• 预期收益率 $\mu =[0.1,0.2,0.15{]}^{\top }$；
• 协方差矩阵 $\Sigma =\left[\begin{array}{ccc}0.1& 0.02& 0.01\\ 0.02& 0.3& 0.05\\ 0.01& 0.05& 0.2\end{array}\right]$；
• 最低收益 $R_{\text{min}}=0.12$。

CVXPY求解代码

import cvxpy as cp
import numpy as np

mu = np.array([0.1, 0.2, 0.15])
Sigma = np.array([[0.1, 0.02, 0.01],
                  [0.02, 0.3, 0.05],
                  [0.01, 0.05, 0.2]])
R_min = 0.12

w = cp.Variable(3)
objective = cp.Minimize(0.5 * cp.quad_form(w, Sigma))
constraints = [
    mu @ w >= R_min,
    cp.sum(w) == 1,
    w >= 0
]

prob = cp.Problem(objective, constraints)
prob.solve()

print("最优权重:", w.value.round(4))
print("预期收益:", mu @ w.value)
print("投资风险:", 0.5 * w.value @ Sigma @ w.value)

输出结果：

最优权重: [0.4    0.3333 0.2667]  
预期收益: 0.12  
投资风险: 0.0452

4. 结果验证：KKT条件检查

拉格朗日函数

$$L(w,\lambda ,\nu ,\eta )=\frac{1}{2}{w}^{\top }\Sigma w+\lambda (R_{\text{min}}-{\mu }^{\top }w)+\nu (1-1^{\top }w)-{\eta }^{\top }w$$

KKT条件验证

1. 平稳性：
   $$\Sigma w-\lambda \mu -\nu 1-\eta =0$$
   代入求解结果 $w^{\ast }=[0.4,0.3333,0.2667{]}^{\top }$，计算左侧：
   $$\Sigma w^{\ast }=\left[\begin{array}{ccc}0.1& 0.02& 0.01\\ 0.02& 0.3& 0.05\\ 0.01& 0.05& 0.2\end{array}\right]\left[\begin{array}{c}0.4\\ 0.3333\\ 0.2667\end{array}\right]=\left[\begin{array}{c}0.0567\\ 0.1233\\ 0.0917\end{array}\right]$$
   根据约束条件，拉格朗日乘子 $\lambda \ge 0$, $\nu \in \mathbb{R}$, $\eta \ge 0$，需满足：
   $$\Sigma w^{\ast }=\lambda \mu +\nu 1+\eta$$
   通过求解线性方程组可验证是否成立（具体计算略）。

2. 互补松弛性：

• 若 $w_i>0$，则 ${\eta }_i=0$；
• 若 ${\mu }^{\top }{w}^{\ast }>R_{\text{min}}$，则 $\lambda =0$。
  本例中 ${\mu }^{\top }{w}^{\ast }=0.12=R_{\text{min}}$，故 $\lambda >0$。

5. 机器学习案例：带约束的神经网络训练

问题描述：
在神经网络训练中施加权重范数约束，防止梯度爆炸：
$$\begin{array}{rl}\underset{W}{\min }& \frac{1}{m}\sum _{i=1}^m\mathcal{L}(y_i,f(x_i;W))\\ \text{s.t.}& \Vert W{\Vert }_2\le C\end{array}$$
求解步骤：

1. 投影梯度下降：在每次梯度更新后，将权重投影到约束球内：
   $$W_{k+1}={\text{Proj}}_{\Vert W{\Vert }_2\le C}\left(W_k-\alpha {\nabla }_W\mathcal{L}\right)$$
2. 投影操作：
   $$\text{Proj}(W)=\{\begin{array}{ll}W& \text{if }\Vert W{\Vert }_2\le C\\ C\cdot \frac{W}{\Vert W{\Vert }_2}& \text{otherwise}\end{array}$$

代码片段：

def projected_gradient_descent(W_init, alpha, C, max_iters):
    W = W_init
    for _ in range(max_iters):
        grad = compute_gradient(W)  # 计算损失函数梯度
        W_new = W - alpha * grad     # 梯度更新
        norm = np.linalg.norm(W_new)
        if norm > C:                 # 投影到约束球
            W_new = C * W_new / norm
        W = W_new
    return W

6. 课后作业

1. 理论证明：
   • 证明投影梯度下降法在凸约束下的收敛性（利用非扩张投影算子性质）。
2. 编程任务：
   • 用SciPy求解带不等式约束的二次规划问题：
     $$\begin{array}{rl}\min & x_1^2+2x_2^2+x_1{x}_2\\ \text{s.t.}& x_1+x_2\ge 2\\ & x_1\ge 0,x_2\ge 0\end{array}$$
   • 在PyTorch中实现带L2范数约束的线性回归模型，对比约束与无约束训练的权重分布。

关键点总结

1. 建模工具：CVXPY适用于凸问题快速建模，SciPy支持更一般的非线性问题；
2. 求解验证：通过KKT条件确保解的最优性与可行性；
3. 实际应用：从金融工程到深度学习，约束控制模型行为；
4. 算法扩展：投影梯度法将无约束优化与约束处理结合，平衡效率与可行性。

通过理论推导与实例结合，学生将掌握约束优化问题的完整解决流程，并能在工程与科研中灵活应用。

课时8：综合项目——优化与机器学习

教学目标

1. 掌握深度学习优化器（如Adam）的原理与实现；
2. 实现神经网络训练流程，分析优化器对模型性能的影响；
3. 将优化理论应用于实际模型调参，理解超参数的作用；
4. 对比不同优化器（SGD、动量法、Adam）在训练中的表现差异。

1. 深度学习中的优化器原理

Adam优化器公式推导

Adam（Adaptive Moment Estimation）结合动量法与自适应学习率：

1. 一阶矩估计（动量）：
   $$m_t={\beta }_1{m}_{t-1}+(1-{\beta }_1)g_t$$
2. 二阶矩估计（自适应学习率）：
   $$v_t={\beta }_2{v}_{t-1}+(1-{\beta }_2)g_t^2$$
3. 偏差校正（解决初始零偏问题）：
   $${\hat{m}}_t=\frac{m_t}{1-{\beta }_1^t},{\hat{v}}_t=\frac{v_t}{1-{\beta }_2^t}$$
4. 参数更新：
   $${\theta }_{t+1}={\theta }_t-\alpha \frac{{\hat{m}}_t}{\sqrt{{\hat{v}}_t}+ϵ}$$
   参数说明：

• ${\beta }_1,{\beta }_2$：动量衰减率（默认0.9, 0.999）
• $\alpha$：初始学习率
• $ϵ$：数值稳定性常数（默认1e-8）

2. 典型示例：MNIST手写数字分类

任务描述

使用全连接神经网络（MLP）对MNIST数据集进行分类，对比不同优化器的性能。

模型架构

• 输入层：784维（28×28图像展平）
• 隐藏层：2层，每层128个神经元，ReLU激活
• 输出层：10维，Softmax激活

代码实现（PyTorch）

import torch
import torch.nn as nn
import torch.optim as optim
from torchvision import datasets, transforms

# 数据加载
transform = transforms.Compose([transforms.ToTensor()])
train_set = datasets.MNIST(root='./data', train=True, download=True, transform=transform)
train_loader = torch.utils.data.DataLoader(train_set, batch_size=64, shuffle=True)

# 定义模型
class MLP(nn.Module):
    def __init__(self):
        super(MLP, self).__init__()
        self.layers = nn.Sequential(
            nn.Linear(784, 128), nn.ReLU(),
            nn.Linear(128, 128), nn.ReLU(),
            nn.Linear(128, 10)
        )
    
    def forward(self, x):
        return self.layers(x.view(-1, 784))

model = MLP()
criterion = nn.CrossEntropyLoss()
optimizer = optim.Adam(model.parameters(), lr=1e-3)  # 可替换为SGD或RMSprop

# 训练循环
for epoch in range(10):
    for images, labels in train_loader:
        outputs = model(images)
        loss = criterion(outputs, labels)
        optimizer.zero_grad()
        loss.backward()
        optimizer.step()
    print(f'Epoch {epoch+1}, Loss: {loss.item():.4f}')

优化器对比实验

优化器	超参数	测试准确率（5 epochs）	训练损失曲线特性
SGD	lr=0.1, momentum=0.9	95.2%	收敛慢，波动大
Adam	lr=1e-3, betas=(0.9, 0.999)	97.8%	收敛快，平稳
RMSprop	lr=1e-3, alpha=0.99	96.5%	初期震荡，后期稳定

3. 优化理论与调参实践

学习率的影响

• 过大：损失震荡或发散（如Adam中 $\alpha >0.01$）；
• 过小：收敛缓慢（如SGD中 $\alpha <0.01$）。

动量系数的作用

• 高 ${\beta }_1$（如0.99）：平滑梯度噪声，但可能错过尖锐极小值；
• 低 ${\beta }_1$（如0.8）：快速响应梯度变化，但易受噪声干扰。

自适应学习率的优势

• 非均匀参数更新：对频繁特征（大梯度）使用小步长，稀疏特征（小梯度）使用大步长；
• 适用于高维非凸问题（如神经网络）。

4. 课后作业

1. 编程任务：
   • 在CIFAR-10数据集上，用PyTorch实现ResNet-18模型，对比Adam与SGD优化器的训练速度与准确率；
   • 修改Adam超参数（如 ${\beta }_1=0.8$, ${\beta }_2=0.95$），观察模型收敛性变化。
2. 理论分析：
   • 推导Adam优化器在凸函数下的收敛性条件（参考Reddi et al. 2018）；
   • 解释为什么Adam在深度学习中被广泛使用，但其默认超参数不一定适合所有任务。

关键点总结

1. Adam优势：自适应学习率+动量，适合非凸、高维、稀疏梯度问题；
2. 调参核心：学习率、动量系数、批次大小协同影响模型性能；
3. 理论联系实际：优化器的设计源于对损失函数几何特性的理解；
4. 局限性：Adam可能在某些任务上陷入局部最优，需结合学习率调度（如Cosine衰减）。

通过综合项目实践，学生将深入理解优化理论与机器学习的紧密联系，并掌握从理论推导到工程实现的完整技能链。
lr=1e-3, betas=(0.9, 0.999) | 97.8% | 收敛快，平稳 |
| RMSprop | lr=1e-3, alpha=0.99 | 96.5% | 初期震荡，后期稳定 |

3. 优化理论与调参实践

学习率的影响

• 过大：损失震荡或发散（如Adam中 $\alpha >0.01$）；
• 过小：收敛缓慢（如SGD中 $\alpha <0.01$）。

动量系数的作用

• 高 ${\beta }_1$（如0.99）：平滑梯度噪声，但可能错过尖锐极小值；
• 低 ${\beta }_1$（如0.8）：快速响应梯度变化，但易受噪声干扰。

自适应学习率的优势

• 非均匀参数更新：对频繁特征（大梯度）使用小步长，稀疏特征（小梯度）使用大步长；
• 适用于高维非凸问题（如神经网络）。

4. 课后作业

1. 编程任务：
   • 在CIFAR-10数据集上，用PyTorch实现ResNet-18模型，对比Adam与SGD优化器的训练速度与准确率；
   • 修改Adam超参数（如 ${\beta }_1=0.8$, ${\beta }_2=0.95$），观察模型收敛性变化。
2. 理论分析：
   • 推导Adam优化器在凸函数下的收敛性条件（参考Reddi et al. 2018）；
   • 解释为什么Adam在深度学习中被广泛使用，但其默认超参数不一定适合所有任务。

关键点总结

1. Adam优势：自适应学习率+动量，适合非凸、高维、稀疏梯度问题；
2. 调参核心：学习率、动量系数、批次大小协同影响模型性能；
3. 理论联系实际：优化器的设计源于对损失函数几何特性的理解；
4. 局限性：Adam可能在某些任务上陷入局部最优，需结合学习率调度（如Cosine衰减）。

通过综合项目实践，学生将深入理解优化理论与机器学习的紧密联系，并掌握从理论推导到工程实现的完整技能链。