凸函数和非凸函数，以及三大经典算法比较

凸（convex)：

• 指的是顺着梯度方向走到底就 一定是 最优解 。
• 大部分 传统机器学习 问题 都是凸的。

非凸(Non-convex)：

• 指的是顺着梯度方向走到底只能保证是局部最优，不能保证 是全局最优。
• 深度学习以及小部分传统机器学习问题都是非凸的。

1.集合的凸和非凸看任意连线有没有不在区域内，函数则有公式：

 

任何局部最优解即为全局最优解。通常使用一个局部优化算法，如贪婪算法（Greedy Algorithm）或梯度下降算法（Gradient Decent）来计算局部最优解。

实际问题中，判断是否凸优化问题可以参考以下几点：

目标函数f ff如果不是凸函数，则不是凸优化问题。
决策变量x xx中包含离散变量（0-1变量或