凸优化的重要性

在知乎上看到的关于凸优化问题的两个回答，感觉说的很好，在此转载保存当做笔记了。

对于做ML的人，凸优化是根本性问题，如何使问题由凹变凸，如何求解凸问题，抛开概率统计，这一切抽象化之后就是数学上所说的凸优化。

对于做DL的人，凸优化虽然没那么重要了，因为一切都已经模块化了，但是归根结底你在玩梯度下降，跑训练集的时候发现这玩意不收敛了总要找原因，还要用到凸优化的功底。

链接：https://www.zhihu.com/question/24641575/answer/307910459
来源：知乎


凸优化之所以重要，应当有下面几个原因：
1.凸优化问题有很好的性质众所周知，凸问题的局部最优解就是全局最优解（许多答主已经提到了）。不过，凸优化理论中最重要的工具是Lagrange对偶，这个为凸优化算法的最优性与有效性提供了保证。近些年来关于凸问题的研究非常透彻，以至于只要把某一问题抽象为凸问题，就可以近似认为这个问题已经解决了。
2.凸优化扩展性强前面提到，许多问题的关键是在于将问题抽象为凸问题。因此许多非凸问题通过一定的手段，要么等价地化归为凸问题，要么用凸问题去近似、逼近。典型的如几何规划、整数规划，它们本身是非凸的，但是可以借助凸优化手段去解，这就极大地扩张了凸优化的应用范围。
3.凸优化的应用十分广泛现实生活中确实有大量的非凸问题，但是并不妨碍凸优化在许多问题上都可以大展身手。往细了说，比如线性回归、范数逼近、插值拟合、参数估计，以及许多的几何问题；往大了说，在通信、机器学习、统计、金融等涉及优化、决策的研究领域，凸优化都是非常有效的手段。

4.针对其他非凸问题的研究还不充分凸优化之重要，从另一个角度说，就是我们没有找到很好的非凸优化的算法，这一部分还有许多学者都在努力。以上是我在学习凸优化过程中的一点点感悟，藉当抛砖引玉了，欢迎讨论。

在我比较熟悉的机器学习领域，最近二三十年有两个算法相继成为机器学习应用的明星，一个是支持向量机（Support Vector Machine），一个是深度学习（Deep Learning）。SVM本身就是把一个分类问题抽象为凸优化问题，利用凸优化的各种工具（如Lagrange对偶）求解和解释。深度学习则是神经网络的又一次爆发，其中关键的算法是反向传播（Back Propagation），本质就是凸优化算法中的梯度下降算法，即使问题极度非凸，梯度下降还是有很好的表现，当然深度学习的机制还有待研究。凸优化的重要性，在工程领域应该说是无可撼动的了。

链接：https://www.zhihu.com/question/24641575/answer/87751184
来源：知乎