最优化理论与方法1

最优化问题：
选择一些可执行的策略使得目标最优。一般包括三个方面：
1.决策变量
2.一个或多个目标函数
3.一个由可行性策略组成的集合，可由不等式或等式刻画。

举个例子：

这里面的x表示的决策变量，h和g分别是等式约束和不等式约束，f是目标函数。

最优化问题的分类：
1.无约束优化/约束优化
2.线性优化/非线性优化
3.连续优化/离散优化
4.单目标优化/多目标优化
5.动态规划
6.随机规划
7.鲁棒优化

凸集

在介绍凸集之前，先介绍一下凸函数。

什么是凸函数？
对于一元函数f(x)，如果对于任意tϵ[0,1]均满足：f(tx1+(1−t)x2)≤tf(x1)+(1−t)f(x2)，则称f(x)为凸函数(convex function)

如果对于任意tϵ(0,1)均满足：f(tx1+(1−t)x2)<tf(x1)+(1−t)f(x2)，则称f(x)为严格凸函数(convex function)

如何判别一个函数是否是凸函数？
对于一元函数f(x)，我们可以通过其二阶导数f′′(x) 的符号来判断。如果函数的二阶导数总是非负，即f′′(x)≥0 ，则f(x)是凸函数

对于多元函数f(X)，我们可以通过其Hessian矩阵（Hessian矩阵是由多元函数的二阶导数组成的方阵）的正定性来判断。如果Hessian矩阵是半正定矩阵，则是f(X)凸函数。

什么是Hessian矩阵？
首先了解一下什么是Jacobian矩阵。

f 是一个将欧式n维空间映射到欧式m维空间的函数，该函数由m个实函数构成，f1(x1,x2,x3…xn)到fm(x1,x2,x3…xn)，这些函数的偏导数组成的一个m行n列的矩阵，即Jacobian矩阵。
如果m = n ， 则J是个方块阵，取其行列式称为雅各宾行列式。

然后再看Hessian矩阵的定义：

Jacobian是一阶导数，代表着函数如何变化，如果f是标量的话，Jacobian就是一个矢量，指向f增大最快的方向。Jacobian为零的点叫临界点，可能是最大、最小或者鞍点。
Hessian是二阶导数，相当于曲率，告诉我们函数的凹凸性质：
当Hessian矩阵正定时，在梯度为0的点处，该点是极小值点；
当Hessian矩阵负定时，在梯度为0的点处，该点是极大值点。

什么是正定矩阵、半正定矩阵？

什么是鞍点？
定义：一个不是局部最小值的驻点（一阶导数为0的点）称为鞍点。数学含义是： 目标函数在此点上的梯度（一阶导数）值为 0， 但从改点出发的一个方向是函数的极大值点，而在另一个方向是函数的极小值点。

判断鞍点的一个充分条件是：函数在一阶导数为零处（驻点）的Hessian矩阵为不定矩阵。
上面介绍了四种，相信你应该猜得到，不定矩阵就是有正的也有负的。

什么是内积？
向量之间的内积，也叫点乘，


所以说，当两个向量的夹角大于90的时候，内积是小于零的。

什么是凸集？
讲了这么多，现在回到主题上，什么是凸集？

对于图形化的描述，就是在集合中任取两个点，如果两点的连线仍在集合中，那么该集合就是凸集。

常见的凸集合：

超平面、半平面、多面体、球体、椭球、二阶锥、半定矩阵锥

什么是超平面、半空间、多面体？

a转置x 的含义是内积，和原点组成的向量=b的点组成的平面称为超平面。

超平面将空间划分为两个，上面一侧是内积大于b的空间，下面一侧是内积小于b的空间，所以称为半空间。

多面体：多个线性不等式刻画的集合。一个不等式刻画的是两个半空间，多个的话，就是多面体。

什么是2范数?

向量范数：
1-范数：
向量中所有元素绝对值之和。
2-范数：
向量中所有元素绝对值的平方和再开方。
∞-范数：
向量元素中绝对值中的最大值。
-∞范数：
向量元素中绝对值中的最小值。
p-范数：
向量中所有元素绝对值的p次幂和的1/p次幂。

矩阵范数:
1-范数：
所有矩阵列向量绝对值之和的最大值。
2-范数：
A转置A矩阵的最大特征值的开平方。
F-范数：
矩阵元素绝对值的平方和再开平方。
核范数：
A的所有奇异值之和。

保持凸性的运算：
设C1 、C2是凸集 ， C1∩C2也是凸集 ， C1∪C2不一定是凸集；C1+C2和C1-C2都是凸集。

仿射变换：
C为凸集的话，经过仿射变换，还是凸集。
特殊的仿射变换有放缩、平移和投影。

常见凸函数：
线性函数：f(x) = aTx + b
二次函数：f(x) = xTQx + aTx + b , Q∈半正定
最小二乘函数：f(x) = ||Ax - b||22
p范数

凸函数的非负组合仍为凸函数；
凸函数求最大，仍为凸函数。

凸集与凸函数之间的关系：
1.
函数f(x) 的水平集：La = {x | f(x)<=a , x ∈C} ， 若f(x)是凸函数，则其水平集均为凸集。反之不成立。

Epigraph：上图
函数f(x) 的epigraph定义为：epi(f) = {（x , y) | f(x)<=y , x∈C}
若f(x) 是凸函数 ， 那么epi(f)为凸集 ， 两者可以互推。