凸优化问题

1.一个最优化问题的可行域是凸集，并且目标函数是凸函数，则该问题为凸优化问题

2.如果一个优化问题是不带约束的优化，则其优化变量的可行域是一个凸集

3.多个凸集的交集还是凸集，凸集的并集并不是凸集

4.一组约束是线性等式约束或线性不等式约束，则它确定的可行域都是凸集

5.凸函数有两种判别方法，一种是从一阶偏导角度构造不等式，一种是从二阶偏导构造海森矩阵

6.凸函数的非负线性组合是凸函数

在上一篇文章中梯度下降法，我们介绍了梯度下降法，它是求解最优化问题的常用算法。但是会遇到局部极值点和鞍点的问题.

换句话说，梯度等于0只是取得极值的必要条件而不是充分条件。而凸优化就是将这个必要条件变成充分条件，即：

天才数学家把这个问题简化后，得到等价的表述：

对于目标函数，我们限定是凸函数；对于优化变量的可行域，我们限定它是凸集

我们把满足上述两个限制条件的最优化问题叫做凸优化问题。如果一个问题是凸优化问题，那么利用梯度下降法，即可得到全局最优解，除此之外，还可以利用牛顿法和拟牛顿法（我们下一篇文章介绍），本文我们就详细介绍凸优化，为此，需要用到预备知识Hessian矩阵。

预备知识

• Hessian矩阵
  

海森矩阵(Hessian matrix或Hessian)是一个自变量为向量的实值函数f(x1,x2,...,xn)的二阶偏导数组成的方块矩阵, 如果f的所有二阶导数都存在，那么f的海森矩阵即：

该矩阵与函数f有如下关系：

• 如果Hessian矩阵正定，函数有极小值

• 如果Hessian矩阵负定，函数有极大值

• 如果Hessian矩阵不定，则需要进一步讨论

注：Hessian矩阵简写为∇2 f (x)

这里多提一句，海森矩阵被应用于牛顿法解决的大规模优化问题，主要是求解方程的根以及最优化问题。

• 矩阵的正定性
  

对于n阶矩阵A，对于任意非0的n维向量x都有

则称矩阵A为正定矩阵。

判定矩阵正定的常用方法有以下3种：

1. 矩阵的特征值全大于0

2. 矩阵的所有顺序主子式都大于0

3. 矩阵合同于单位阵I

同样的我们可以定义矩阵的半正定性，负定性和半负定性

注：关于海森矩阵和矩阵的更多细节，以后我们会专门介绍，这里只需要记住结论，应用结论即可

凸集与凸函数

• 凸集

对于n维空间中点的集合C，如果对集合中的任意两点x和y，以及实数0 ≤ θ ≤ 1，都有：

则称该集合称为凸集。相应的，点θx+(1-θ)y称为点x和y的凸组合

• 如果把这个集合画出来，其边界是凸的，没有凹进去的地方

• 直观来看，把该集合中的任意两点用直线连起来，直线上的点都属于该集合

n维实向量空间Rn。显然如果x,y∈Rn，则有：

如果记得向量空间的定义，这个式子很好理解，就是向量对空间的乘法与加法运算封闭的。这个结论的意义在于：如果一个优化问题是不带约束的优化，则其优化变量的可行域是一个凸集。

这里有一个重要的结论：多个凸集的交集还是凸集，凸集的并集并不是凸集

• 仿射子空间
  

给定m行n列的矩阵A和m维向量b，仿射子空间定义为如下向量的集合：

仔细观察发现，这个就是非齐次线性方程组的解集。

我们可以证明：如果一组约束是线性等式约束，则它确定的可行域是一个凸集。

假设x,y∈Rn并且：

对于任意0≤θ ≤1，有：

进一步，定义线性不等式围成的区域的集合：

我们也可以证明：一组约束是线性不等式约束，则它定义的可行域是凸集

对于任意的x,y∈Rn，并且Ax≤b,Ay≤b，如果0≤θ ≤1，则有：

利用上一节的结论，我们可以知道，如果每个等式或者不等式约束条件定义的集合都是凸集，那么这些条件联合起来定义的集合还是凸集，而我们遇到的优化问题中，可能有多个等式和不等式约束，只要每个约束条件定义的可行域是凸集，则同时满足这下约束条件的可行域还是凸集

• 凸函数
  

设f(x)为定义在n维欧式空间中某个凸集S上的函数，若对于任意介于0与1之间的实数α以及S中任意不同的两点x1和x2，均有：

则称f(x)为定义在凸集S上的凸函数。

这是凸函数的标准定义，此外，凸函数也有两种判别方法，我们也介绍，相对来说，第二种方法用得多一些

• 判别方法1

设f(x)在凸集S上有一阶连续偏导数，则f(x)为S上的凸函数的充要条件为：对于任意不同两点x1和x2，均有

• 判别方法2

设f(x)在凸集S上有二阶连续偏导数，则f(x)为S上的凸函数的充要条件为：f(x)的Hessian矩阵在S上处处半正定

一个重要结论是凸函数的非负线性组合是凸函数，假设fi是凸函数，并且wi ≥0，则：

也是凸函数。

凸优化

如果一个最优化问题的可行域是凸集，并且目标函数是凸函数，则该问题为凸优化问题。

凸优化问题可以形式化的写成：

其中x为优化变量；f为凸目标函数；C是优化变量的可行域，是一个凸集。

通常情况下，我们用另外一个等价的形式

其中是gi (x)不等式约束函数，为凸函数；hi (x)是等式约束函数，为仿射函数。

最后，我们不加证明的给出结论：线性回归、岭回归、支持向量机、逻辑回归、softamax回归都是凸优化问题，因此，都可以利用梯度下降法、牛顿法、拟牛顿法求解其参数。

参考资料：

https://mp.weixin.qq.com/s/GO29W7EOCRY_8S6T6fQgaw