《凸优化》笔记（三）：优化问题

本文转载自：https://blog.csdn.net/u010366427/article/details/51906763

笔记是根据《Convex Optimization》写的，对应第4章。

4 凸优化问题

4.1 优化问题的基本形式 

minimize　f0(x)subject　to　fi(x)≤0,　i=1,…,mhi(x)=0,　i=1,…,pminimize　f0(x)subject　to　fi(x)≤0,　i=1,…,mhi(x)=0,　i=1,…,p

　　需要注意的是除了显式的约束外，每个函数还有隐式的定义域约束。整个问题的定义域是所有函数的定义域的交集。对于每个这样的问题，其最优解定义为： 

p∗=inf{f0(x)|fi(x)≤0,i=1,…,m,hi(x)=0,i=1,…,p}p∗=inf{f0(x)|fi(x)≤0,i=1,…,m,hi(x)=0,i=1,…,p}

局部最优解定义为在半径为RR的定义域范围内的最小值。如果这是个最小问题，则f0(x)f0(x)称为损失函数，如果是最大问题，则称为效用函数。 
4.2 凸优化 
　　凸优化问题定义为如下形式： 

minimize　f0(x)subject　to　fi(x)≤0,　i=1,…,maTx=0,　i=1,…,pminimize　f0(x)subject　to　fi(x)≤0,　i=1,…,maTx=0,　i=1,…,p

其中，f0,…,fmf0,…,fm都是凸函数。非正式地来说，对于一个一般的优化问题，1)目标函数是凸函数;2)不等式约束是凸函数;3)等式约束是仿射函数，则这个问题是凸优化问题。同时，从以上的定义可以注意到，凸优化问题的可行域一定是凸集。如果目标函数是拟凸函数，则这个问题是拟凸问题。 
如果点xx满足如下等式，则该点是最优解： 

∇f(x)T(y−x)≥0∇f(x)T(y−x)≥0

体现在几何上，即 
 
有时候为了简化理论分析，可以将问题转化为线性的目标函数： 

minimize　tsubject　to　fi(x)≤0,　i=1,…,maTx=0,　i=1,…,pf0(x)−t≤0minimize　tsubject　to　fi(x)≤0,　i=1,…,maTx=0,　i=1,…,pf0(x)−t≤0

同时，可以通过如下方式求解拟凸问题： 

f0(x)≤t⟺ϕt(x)≤0f0(x)≤t⟺ϕt(x)≤0

 

find　xsubject　to　fi(x)≤0,　i=1,…,maTx=0,　i=1,…,pϕt(x)≤0find　xsubject　to　fi(x)≤0,　i=1,…,maTx=0,　i=1,…,pϕt(x)≤0

该方法通过在可行域上不停二分查找，找到一个恰好有可行域的tt，并且解出的的xx即为次优解。 
4.3 线性规划问题(LP) 
　　问题可描述为： 

minimize　cTx+dsubject　to　Gx≤hAx=bminimize　cTx+dsubject　to　Gx≤hAx=b

　　如下问题可以转换为线性规划： 
1) 营养搭配问题，即每个食物有其价格和营养含量，目标是组合这些食物，在花费最少的情况下满足每一种营养需求。 
2) 多边形的切比雪夫中心，即寻找多边形内半径最大圆的中心点。 
3) 多个仿射函数最大值 
4) 分片线性极小化 
 

\begin{center}
线性规划的几何描述
\end{center}\begin{center}线性规划的几何描述\end{center}

4.4 二次规划(QP) 

minimize　(1/2)xTPx+qTx+rsubject　to　Gx≤hAx=bminimize　(1/2)xTPx+qTx+rsubject　to　Gx≤hAx=b

　　其中PP为正定矩阵。如果其不等式约束为二次约束，则该问题为二次约束的二次规划(QCQP)： 

minimize　(1/2)xTPx+qTx+rsubject　to　(1/2)xTPix+qTix+ri,　i=1,…,mAx=bminimize　(1/2)xTPx+qTx+rsubject　to　(1/2)xTPix+qiTx+ri,　i=1,…,mAx=b

　　二次规划有如下问题： 
1) 最小二乘及回归 
2) 求两个平面之间的距离 
3) 求方差下界 
4) x带随机损失的线性规划，即把随机损失的平方作为最小化项加入目标函数中 
　　二阶锥规划(QCQP)： 

minimize　fTxsubject　to　||Aix+b||2≤cTix+dFx=gminimize　fTxsubject　to　||Aix+b||2≤ciTx+dFx=g

　　该规划可用于常数未知的线性规划，解法1是设置协方差矩阵P表示参数随机的程度，然后把约束条件设为容忍其极大损失；解法2是设置方差服从正态分布，通过0.95或者0.99等置信度确定约束范围。 
 

\begin{center}
二次规划的几何解释
\end{center}\begin{center}二次规划的几何解释\end{center}

4.5 几何规划 
　　单项式函数定义为： 

f(x)=cxa11xa22…xannf(x)=cx1a1x2a2…xnan

多项式函数则定义为多个单项式函数的和： 

f(x)=∑Kk=1ckxa1k1xa2k2…xanknf(x)=∑k=1Kckx1a1kx2a2k…xnank

　　其中x为正。定义几何规划为： 

minimize　f0(x)subject　to　fi(x)≤1,　i=1,…,mhi(x)=1,　i=1,…,pminimize　f0(x)subject　to　fi(x)≤1,　i=1,…,mhi(x)=1,　i=1,…,p

其中，fifi为多项式函数，hihi为单项式函数。几何规划不是凸函数，但可以转换成凸函数，首先令yi=logxiyi=logxi，然后在fifi外套loglog函数，则该问题的指数均转换为仿射函数。 
4.6 广义不等式约束 
　　把约束扩展到广义不等式上，即认为fifi的映射结果是一个向量，因此fifi所在的不等式是一个广义不等式。这里记录一个半定规划： 

minimize　cTxsubject　to　x1F1+x2F2+⋯+xnFn≤GAx=bminimize　cTxsubject　to　x1F1+x2F2+⋯+xnFn≤GAx=b

　　可以看出，该问题包含SOCP，而SOCP包含QCQP，QCQP包含LP。