机器学习中的数学基础--最速下降，共轭梯度，牛顿法，拟牛顿法，KKT条件

优化问题简介

loss function：
1.L2（Lp）
2.Huber loss
3.Hinge loss
4.cross-entropy
method：
1.直接算
2.herative
3.随机
约束/非约束

解的性质：
1.存在
2.唯一（有些可能不唯一，都很好）
3.连续

最速下降法

转载：知乎 @忆臻 【最优化】一文搞懂最速下降法

共轭梯度法

转载：@知乎 如何理解共轭梯度法?

牛顿法

转载：B站