二次规划

       二次规划问题 是一种典型的优化问题，包括凸二次规划和非凸二次规划，在此类问题中，目标函数是变量的二次函数，约束条件是变量的线性不等式。

假定变量的个数为dd，约束条件的个数为mm，则标准的二次规划问题形如：

minxs.t.12xTQx+cTxAx⩽bminx12xTQx+cTxs.t.Ax⩽b

其中 xx 为 dd 维向量， Q∈Rd×dQ∈Rd×d 为实对称矩阵， A∈Rm×dA∈Rm×d 为实矩阵， b∈Rmb∈Rm 和 c∈Rdc∈Rd 为实向量， Ax⩽bAx⩽b 的每一行对应一个约束。

• 若QQ为半正定矩阵，则上面的目标函数是凸函数，相应的二次规划为凸二次规划问题；此时若约束条件定义的可行域不为空，且目标函数在此可行域有下界，则该问题有全局最小值。
• 若QQ为正定矩阵，则该问题有唯一的全局最小值。
• 若QQ为非正定矩阵，则目标函数是有多个平稳点和局部极小点的NP难问题。

常用的二次规划问题求解方法有：

• 椭球法
• 内点法
• 增广拉格朗日法
• 梯度投影法 
  等。若QQ为正定矩阵，则相应的二次规划问题可由椭球法在多项式时间内求解。

凸函数：

对区间[a,b][a,b]上定义的函数ff，若它对区间中任意两点x1,x2x1,x2均有：

f(x1+x22)⩽f(x1)+f(x2)2f(x1+x22)⩽f(x1)+f(x2)2

则称 ff 为区间 [a,b][a,b] 上的凸函数。

UU形曲线的函数如f(x)=x2f(x)=x2，通常是凸函数。

对实数集上的函数，可通过求解二阶导数来判别：

• 若二阶导数在区间上非负，则称为凸函数
• 若二阶导数在区间上恒大于0，则称严格凸函数

矩阵的正定及半正定： 
正定矩阵是一种实对称矩阵。正定二次型f(x1，x2，…，xn)=XTAXf(x1，x2，…，xn)=XTAX的矩阵A(或A的转置)称为正定矩阵。

1. 广义定义：设MM是n阶方阵，如果对任何非零向量zz，都有zTMz>0zTMz>0，其中zTzT 表示zz的转置，就称M正定矩阵。

2. 狭义定义：一个n阶的实对称矩阵MM是正定的的条件是当且仅当对于所有的非零实系数向量z，都有zTMz>0zTMz>0。其中zTzT表示zz的转置。

当考虑矩阵的特征值时：

• 若所有特征值均不小于零，则称为半正定。
• 若所有特征值均大于零，则称为正定。

任意给一个对称阵，做他的特征分解：M=QTΛQM=QTΛQ，那么,xTMx=(Qx)TΛQxxTMx=(Qx)TΛQx。这里，由于Q是一个正交阵，则Qx为x的一个线性变换。考虑到定义中x具有任意性，显然Qx也具有任意性。令y=Qxy=Qx，即原定义等价于分析是否存在任意的y，使得yTΛy≥0yTΛy≥0恒成立。也就是说：分析对称阵的正定性，等价于分析其特征值对角阵的正定性。 
为了叙述方便，记Λ=diag(λ1,…,λi,…,λn)Λ=diag(λ1,…,λi,…,λn)。容易知道，特征值对角阵ΛΛ是正定阵必须要求所有特征值为正，半正定则要求所有特征值非负。关键在于正定性定义中x具有任意性。

从几何的角度看的话： 
首先半正定矩阵定义为: XTMX≥0XTMX≥0其中X 是向量，M 是变换矩阵 
矩阵变换中，MXMX代表对向量 X进行变换，我们假设变换后的向量为Y，记做Y=MXY=MX。于是半正定矩阵可以写成：XTY≥0XTY≥0 
又因为：cos(θ)=XTY||X||∗||Y||cos(θ)=XTY||X||∗||Y|| 
所以：cos(θ)≥0cos(θ)≥0 

正定、半正定矩阵的直觉代表一个向量经过它的变化后的向量与其本身的夹角小于等于90度。

转载地址：https://blog.csdn.net/lilong117194/article/details/78204994