数学基石与模型优化

"梯度下降的几何解释与正则化技术"
核心内容：

1. 优化理论

   • 梯度下降三种变体对比（BGD/SGD/mini-batch SGD收敛速度分析）
   • 动量算法数学推导（更新公式：v_t = γv_{t-1} + η∇θ_t）

2. 正则化技术

   • L1正则化路径分析（坐标轴下降法求解Lasso）
   • Dropout在神经网络中的实现原理

3. 实战案例

   • 手写数字识别（MNIST数据集 + L2正则化防止过拟合）

数学公式：

L(w) = Σ(y_i - f(x_i;w))² + λ||w||²  # L2正则化损失函数

阅读目标：掌握核心数学工具，能够设计优化策略解决实际问题。