最优化问题的相关笔记

最优化问题在机器学习中，是寻找最佳的模型问题。

模型拟合都可以用最大似然函数求最值解决。

但是不是所有模型都可以直接用此方法，因为很多目标函数可能存在多个局部极值，导致无法直接求最值。

这时候一个聪明的做法是，转为对偶的凸函数或其他可解的问题寻优。

SVM就是利用对偶函数的凸二次规划问题求解，得到全局最优解。

但是数学上的NP难问题，一般只能用启发式算法寻优，得到次优解。

最小二乘法：通过最小化误差的平方和寻找数据的最佳函数匹配。