凸优化

0.定义
凸优化问题（OPT，convex optimization problem）指定义在凸集中的凸函数最优化的问题。 虽然条件苛刻，但应用广泛，具有重要价值，主要体现在：
凸优化本身具有很好的性质
一来，凸问题的局部最优解就是全局最优解。二来，凸优化理论中的Lagrange对偶，为凸优化算法的最优性与有效性提供了保证。近些年来关于凸问题的研究非常透彻，以至于只要把某一问题抽象为凸问题，就可以近似认为这个问题已经解决了。
凸优化具有很强扩展性
对于非凸问题，通过一定的手段，要么可以等价地化归为凸问题，要么可以用凸问题去近似、逼近得到边界。例如，几何规划、整数规划，虽然本身是非凸的，但是可以借助凸优化手段去解，这就极大地扩张了凸优化的应用范围。
以深度学习来说，其中关键的反向传播（Back Propagation）算法，本质就是凸优化算法中的梯度下降法，即使问题极度非凸，梯度下降还是有很好的表现，当然深度学习的机制还有待研究。
凸优化的应用十分广泛
如线性回归、范数逼近、插值拟合、参数估计，以及许多的几何问题等。
针对其他非凸问题的研究还不充分
凸优化之重要，从另一个角度说，就是我们没有找到很好的非凸优化的算法，这一部分还有许多学者都在努力。
1.相关数学概念

1. 凸集
   1.1 定义：
   
   是凸集，如果对于任意的
   和任意的
   满足
   时，
   恒成立

1.2 几何意义：
直观来说，任取一个集合中的两点练成一条线段，如果这条线段完全落在该集合中，那么这个集合就是凸集。
2. 凸函数
2.1定义：
定义在
上的函数
是凸函数，如果它的定义域
是一个凸集且对任意的
和
,
恒成立。
2.2几何意义：
凸函数的一阶充要条件：
假设定义在
上的函数
可微（即对于所有
，梯度
均存在）。则函数
是凸函数当且仅当函数定义域
是一个凸集，且对于所有
均满足：

一阶充要条件从几何意义上讲，即定义域内所有函数值都大于等于该点的一阶近似。
2.4 凸函数的二阶充要条件：
记函数的一阶导数和二阶导数分别为
和
：

假设定义在
上的函数
二阶可微（即对于所有
，海森矩阵
均存在）。则函数
是凸函数当且仅当函数定义域
是一个凸集，且对于所有
均满足：

注意：这里的
表示的是半正定。
举例用二阶充要条件来证明log-sum-exp函数是convex的：

2.凸优化问题

1. 定义：