凸优化总结

---

1基础

1.1 凸集

1.2 凸函数

1.3 凸问题

1.4 对偶

5 无约束梯度下降

常数步长，精确步长，回溯步长
二次优化 最小最大特征值近似强凸性以及L光滑。

6 约束梯度下降

先在约束内寻找下降方向，然后更新

投影法，按照正常梯度下降法，然后投影到约束集合，即寻找约束集合内的最近点。

7 次梯度法

不可微时，用次梯度代替。其他和梯度方法一样。

8 mirror 下降

考虑几何特性。

更换proximity term.。

9 近端下降

处理复合模型

不同的h函数，不同的迭代方式。

10 加速梯度

考虑历史影响，momentum term。

11 对偶方法

拉格朗日法+共轭函数

12 ADMM

ALM


ALM 同时更新 x与z。

ADMM

交替更新 x与z

拟牛顿

近似海森矩阵，满足割线方程。