最优化方法(学习笔记)-第四章凸优化问题

凸优化问题及其标准形式

optimization problem in standard form

标准形式介绍

目标函数：$\underset{x}{\min }{f}_0(x)$
满足条件：$subjectto(s.t)\{\begin{array}{l}{f}_i(x)\le 0,i=1,...,m\\ h_i(x)=0,i=1,...,p\end{array}$

含义/名称	数学表达
变量decision var	$x\in R^n$
目标函数/损失函数lost function	$f_0:R^n⟹R$
不等式约束函数inequality constraint function	$f_i:R^n⟹R,i=1,...,m$
等式约束函数equality constraint function	$h_i:R^n⟹R,i=1,...,p$
能取到的最小值(极限值)optimal value	p ∗ = inf ⁡ x { f 0 ( x ) ∥ f i ( x ) ≤ 0 , h j ( x ) = 0 , i = 1 , . . . , m , j = 1 , . . . , p } p^*=\inf\limits_x\{f_0(x) \| f_i(x)\leq 0,h_j(x)=0,i=1,...,m,j=1,...,p\} p∗=xinf​{f0​(x)∥fi​(x)≤0,hj​(x)=0,i=1,...,m,j=1,...,p} 【如果问题无解则$p^{\ast }=\infty$；问题无下界则$p^{\ast }=-\infty$】

最优化的取值----局部极值，或者全局极值

定义1：非空集合里存在满足约束的元素x,且x属于$f_0$的定义域内（$x\in dom{f}_0$）。
定义2：非空集里的元素x使得$f_0(x)=p^{\ast }(就是\infty )$，那么x就是目标函数的最优点。
定义3：$X_{opt}是最优点x的集合$。（极值表现为某一段水平线）
定义4：如果存在$R>0$且满足$x_0是f_0(x)$的最优点$\left(\begin{array}{c}s.t\{\begin{array}{l}{f}_i(x)\le 0,i=1,...,m\\ h_j(x)=0,j=1,...,p\\ ||x-x_0|{|}_2\le R\end{array}\end{array}\right)$，那么$x_0$就是局部最优点。（多个极值）

例子：
1. f 0 ( x ) = 1 x ， d o m f 0 = R + + （ 正 半 轴 ） ； p ∗ = inf ⁡ x { f 0 ( x ) = 1 x ∣ x ∈ R + + } = 0 ； 极 限 值 是 0 ， 但 取 不 到 x 的 准 确 值 ， 所 以 没 有 最 优 点 f_0(x)=\frac{1}{x}，domf_0=R_{++}（正半轴）；p^*=\inf\limits_x\{ f_0(x)=\frac{1}{x} | x\isin R_{++}\}=0；极限值是0，但取不到x的准确值，所以没有最优点 f0​(x)=x1​，domf0​=R++​（正半轴）；p∗=xinf​{f0​(x)=x1​∣x∈R++​}=0；极限值是0，但取不到x的准确值，所以没有最优点
2.$f_0(x)=-\log x，dom{f}_0=R_{++}（正半轴）；p^{\ast }=-\infty ；问题答案无下界，没有最优点$
3.$f_0(x)=-x\log x,dom{f}_0=R_{++}；（f_0^{\prime }(x)的零点x=\frac{1}{e},f_0^{\prime \prime }(x)<0,f_0(\frac{1}{e})是极大值）p^{\ast }=\frac{1}{e}；最优点就是x=\frac{1}{e}$

4.$f_0(x)=x^3-3x,dom{f}_0=R；p^{\ast }=-\infty ；但是存在局部最小值x=1$

标准形式中的隐式约束Implicit constraint

定义：$x\in D=\bigcap _{i=0}^{m}dom{f}_i\cap \bigcap _{i=1}^{p}dom{h}_i$
其中，D是问题的定义域，$f_i(x)\le 0,h_i(x)=0$是显式约束，没有显式约束(m=p=0)的问题就是无约束unconstrained问题。
例如：
$\min f_0(x)=-{\sum }_{i=1}^k\log (b_i-a_i^{T}x)，log函数的定义域隐性要求a_i^{T}x<b_i$

可行域feasibility问题

含义：找满足显式条件的元素x，多个x构成一个集合。
定义：找$x，s.t\{\begin{array}{l}{f}_i(x)\le 0\\ h_i(x)=0\end{array}⟺使得最小f_0(x)=0,满足\{\begin{array}{l}{f}_i(x)\le 0\\ h_i(x)=0\end{array}$
其中，如果可行解存在，那么$p^{\ast }=0且\forall x都是最优点$；如果可行解不存在，那么$p^{\ast }=\infty$。

凸优化问题

希望避免存在多个局部最优
定义：$\underset{x}{\min }{f}_0(x)，s.t\{\begin{array}{l}{f}_i(x)\le 0,i=1,...,m\\ h_i(x)=0,i=1,...,p\end{array}$
其中
$f_i(x)是凸函数convex,i=0,...,m$；$h_i(x)是仿射函数affine,i=1,...,p$；可行解集是凸集，该问题是凸优化问题。
$f_i(x)是凸函数convex,i=1,...,m$；$h_i(x)是仿射函数affine,i=1,...,p$；$f_0(x)是次凸函数$，该问题是次凸优化问题。

例子：转化为凸优化问题
$\min f_0(x)=x_1^2+x_2^2,s.t\{\begin{array}{l}{f}_1(x)=\frac{x_1}{1+x_2^2}\le 0\\ h_1(x)=(x_1+x_2{)}^2=0\end{array}$
易知：
1.二次函数$f_0(x)$是凸函数$⟹$可行解($x_1=-x_2$)是凸集
2.但$f_1(x)$不是凸函数,$h_1(x)$不是affine函数$⟹$该问题不是凸优化问题
3.因为$f_1(x)$的分母永远大于0，所以可以改写为：$\min x_1^2+x_2^2（s.t{x}_1\le 0,x_1+x_2=0）$。这样就可以满足凸优化问题的条件了。

局部最小值和全局最小值的问题

定理：凸优化问题的任意一个局部最优点就是全局最优点。
证明：反证+局部最优的可行解定义+凸函数的基本性质
假设，x是局部最优值，但是y是全局最优，符合$f_0(y)<f_0(x)$
根据局部最优，可行解z满足$f_0(x)\le f_0(z),||z-x|{|}_2\le R$
设$z=\theta y+(1-\theta )x,且||z-x|{|}_2=\frac{R}{2}\le R$
代入z到等式中$||\theta (y-x)|{|}_2=\frac{R}{2}⟹\theta =\frac{R}{2||y-x|{|}_2}$
由凸函数的性质，得到$f_0(z)=f_0(\theta y+(1-\theta )x)\le \theta f_0(y)+(1-\theta )f_0(x)$
加上条件$f_0(y)<f_0(x)$，所以$f_0(z)<\theta f_0(x)+(1-\theta )f_0(x)=f_0(x)【与可行解定义矛盾】$
综上，x是局部最优，就不存在其他的全局最优，也就是x是全局最优点。

可微函数的最优性条件

Optimality criterion for differentiable $f_0$
定义：$f_0(x)可导$
$x,y\in$可行解，且$\forall y,有▽f_0(x{)}^T(y-x)\ge 0⟺x$是最优点

性质：
1.可行解集X是凸集
2.$-▽f_0(x)$是函数下降的方向，说明沿下降方向已无更优可行解
3.$-▽f_0(x)$定义出一个（垂直）的支撑面supporting hyperplane

无约束的优化问题

定义：$x\in dom{f}_0,▽f_0(x)=0⟺x$是最优点

等式约束的优化问题

[不知道是不是和拉格朗日对偶相关？]

定义：凸优化问题$\min f_0(x),s.tAx=b$
$\exists \mu ,s.tx\in dom{f}_0,Ax=b,▽f_0(x)=A^T\mu ⟺x$是最优点

证明：
根据可微函数最优点x的不等式性质$▽f_0(x{)}^T(y-x)\ge 0$
再构造一个$▽f_0(x{)}^T(-(y-x))\le 0$【这里的构造有点没懂，等之后补充】
使得等式$▽f_0(x{)}^T(y-x)=0$成立
于是说明$▽f_0(x{)}^T\mu =(A^T\mu {)}^T\mu ={\mu }^{T}A\mu =0$
$【设\mu =y-x，A=\left(\begin{array}{c}{a}_1^T\\ a_2^T\\ ...\\ a_n^T\end{array}\right)，A^T是A的行向量】$
这个等式说明 ▽ f 0 ( x ) T ∈ { { a 1 , a 2 , . . . , a n } 的 张 成 空 间 } \triangledown f_0(x)^T\isin\{ \{a_1,a_2,...,a_n\}的张成空间\} ▽f0​(x)T∈{{a1​,a2​,...,an​}的张成空间}
且$▽f_0(x)=\sum _i{\mu }_i{a}_i=A^T\mu ，\mu$与张成空间垂直。

特殊优化问题

非负象限的最小化minimization over nonnegative orthant
定义：凸优化问题$\min f_0(x),s.t\{\begin{array}{l}x\ge 0\\ dom{f}_0=R_{+}^n\end{array}$
$x\in dom{f}_0,x\ge 0,\{\begin{array}{ll}{▽}^T{f}_0(x{)}_i\ge 0& x_i=0\\ {▽}^T{f}_0(x{)}_i=0& x_i>0\end{array}⟺x$是最优点

证明：
根据可微函数最优点x的不等式性质$▽f_0(x{)}^T(y-x)\ge 0【附加条件x\ge 0,\forall y\ge 0】⟹▽f_0(x{)}^{T}y\ge ▽f_0(x{)}^{T}x$
明显$▽f_0(x{)}^{T}x$是一个固定(最优点x)的值，设为$K$。

接下来讨论$▽f_0(x{)}^{T}y$的正负：
假设$▽f_0(x{)}^{T}y<0$，存在一个特别大的$\alpha >0$，将这个负数乘积到最小，将会出现$\alpha \ast ▽f_0(x{)}^{T}y<K(就是▽f_0(x{)}^{T}x)$的情况，这样就与不等式性质矛盾了，所以$▽f_0(x{)}^{T}y\ge 0(\forall y\ge 0)$

接下来讨论$y$的取值：
假设$y>0$，那么$▽f_0(x{)}^{T}y\ge 0⟹▽f_0(x{)}^T\ge 0$；
假设$y=0$，那么$▽f_0(x{)}^{T}y=0\ge ▽f_0(x{)}^{T}x【x\ge 0】$

$\stackrel{为了寻找临界-KKT附加条件}{\Rightarrow }▽f_0(x{)}^{T}x=0⟺\{\begin{array}{ll}{▽}^T{f}_0(x{)}_i\ge 0& x_i=0\\ {▽}^T{f}_0(x{)}_i=0& x_i>0\end{array}$

等价凸优化问题

两个问题A和B的解，A的解可以从B的解中立即得到，且B的解也可以从A的解立即得到，那么两个问题A和B就等价。

消除等式约束

定义：凸优化问题$A⟺B$
$\min f_0(x),s.t\{\begin{array}{l}{f}_i(x)\le 0,i=1,...,m\\ Ax=b(准备被消除的部分)\end{array}$
$\stackrel{x=Fz+x_0}{\iff }\min f_0(Fz+x_0),s.t{f}_i(Fz+x_0)\le 0,i=1,...,m$

证明：
容易搜索得到$Ax=b$的一个特解$A{x}_0=b$
再假设出齐次方程组的解（零空间） A v = 0 , F = { v 1 , v 2 , . . . , v k } Av=0,F=\{v_1,v_2,...,v_k\} Av=0,F={v1​,v2​,...,vk​}
根据非齐次方程组的解，可以假设存在系数 z = { z 1 , z 2 , . . . , z k } z=\{z_1,z_2,...,z_k\} z={z1​,z2​,...,zk​}，使得$x=\sum _{i=1}^k{v}_i{z}_i+x_0=Fz+x_0$是原方程的一种解（变成仿射函数的形式）
于是只要替换掉$x$，就可以保证$Ax=b$成立。

引入等式约束

定义：凸优化问题$A⟺B$
$\min f_0(A_{0}x+b_0),s.t{f}_i(A_{i}x+b_i)\le 0,i=1,...,m$
$\stackrel{y_i=A_{i}x+b_i}{\iff }\min f_0(y_0),s.t\{\begin{array}{l}{f}_i(y_i)\le 0,i=1,...,m\\ y_i=A_{i}x+b_i,i=0,1,...,m\end{array}$

不等式约束变成等式约束

引入一个松弛因子$y_0=A_{0}x+b_0$和m个哑变量$s_i$(slack variables)

定义：凸优化问题$A⟺B$
$\min f_0(x),s.t{a}_i^{T}x\le b_i,i=1,...,m$
$\stackrel{引入s_i}{\iff }\min f_0(x),s.t\{\begin{array}{l}{a}_i^{T}x+s_i=b_i,i=1,...,m\\ s_i\ge 0,i=1,...,m\end{array}$

上凸形式epigraph

定义：凸优化问题的epigraph形式
【 求 f 0 最 小 值 ， 变 成 求 t 最 小 值 ： { ( f 0 ( x ) , t ) ∣ f 0 ( x ) < t } 求f_0最小值，变成求t最小值：\{(f_0(x),t)|f_0(x)<t\} 求f0​最小值，变成求t最小值：{(f0​(x),t)∣f0​(x)<t}】
$\underset{(x,t)}{\min }t,s.t\{\begin{array}{l}{f}_0(x)-t\le 0(凸函数)\\ f_i(x)\le 0,i=1,...,m\\ Ax=b\end{array}$

最小化一些无关变量

在处理有约束变量之前，将无约束(不影响最小化结果)变量先最优化（两个变量的例子如下）
定义：凸优化问题$A⟺B$
$\min f_0(x_1,x_2),s.t{f}_i(x_1)\le 0,i=1,...,m$
$\stackrel{处理掉x_2【\widetilde{f_0}(x_1)=\underset{x_2}{\inf }{f}_0(x_1,x_2)】}{\iff }$
$\min \widetilde{f_0}(x_1),s.t{f}_i(x_1)\le 0,i=1,...,m$

次凸优化问题quasiconvex optimization

次凸函数

定义：次凸函数的定义域和水平集都是凸集，只有一个最小的极小值，可以有多个局部极值，满足 S α = { x ∈ d o m f ∣ f ( x ) ≤ α } S_\alpha=\{x\isin domf|f(x)\leq \alpha\} Sα​={x∈domf∣f(x)≤α}，该函数的水平集要求是连续的区间都符合这个要求，不存在某个水平线将函数分割为多个局部极小值。

• 不等式性质： f ( θ x + ( 1 − θ ) y ) ≤ m a x { f ( x ) , f ( y ) } f(\theta x+(1-\theta)y)\leq max\{f(x),f(y)\} f(θx+(1−θ)y)≤max{f(x),f(y)}
• 必要条件：保证转折处/拐点不会出现先增后减的图形，要求$\forall x\in domf,\forall y\in R^n(y\ne 0),f(x)是极小值$
  • 一阶条件：$f(y)\le f(x)⟹▽f(x{)}^T(y-x)\le 0$
  • 二阶条件：$y^T▽f(x)=0⟹y^T{▽}^{2}f(x)y\ge 0$
    从一维实数集看，就是$f^{\prime }(x)=0⟹f^{\prime \prime }(x)\ge 0$
• 充分条件：$y^T▽f(x)=0⟹y^T{▽}^{2}f(x)y>0$

次凸函数的标准化定义：$次凸函数f_0(x),m个凸函数f_i(x)$
$\min f_0(x),s.t\{\begin{array}{l}{f}_i(x)\le 0,i=1,...,m\\ Ax=b\end{array}$

次凸函数向凸函数的转化

convex representation of sublevel sets of $f_0$
$对于一个次凸函数f_0，转化为一系列的多个凸函数{\varphi }_t(x)，\forall t使得对于x来说，f_0(x)\le t⟺{\varphi }_t(x)\le 0$
比如：$\varphi (x)=\{\begin{array}{ll}0& f(x)\le t\\ \infty & f(x)>t\end{array}$

举例：
设$f_0(x)=\frac{p(x)}{q(x)}，\forall x\in domf$
$凸函数p(x)\ge 0（且p^{\prime \prime }(x)>0）,凹函数q(x)>0（且q^{\prime \prime }\le 0）$
先验证$f_0(x)$是次凸函数
$令f_0^{\prime }(x)=\frac{p^{\prime }q-p{q}^{\prime }}{q^2}=0，有f_0^{\prime \prime }(x)=\frac{(p^{\prime \prime }q-p{q}^{\prime \prime })q^2-2q{q}^{\prime }(p^{\prime }q-p{q}^{\prime })}{q^4}=\frac{p^{\prime \prime }q-p{q}^{\prime \prime }}{q^2}>0，$所以根据充分条件可知，$f_0(x)$是次凸函数
$⟹$次凸函数的水平集$f_0(x)\le t⟺p(x)\le tq(x)$
$⟹$设${\varphi }_t(x)=p(x)-tq(x)，发现是凸函数，于是化为求解{\varphi }_t(x)\le 0$

通过解可行域进行次凸优化(二分法求解极小值)

次凸问题转化为一个可行域问题(1)：
$findx,s.t\{\begin{array}{l}{\varphi }_t(x)\le 0\\ f_i(x)\le 0,i=1,...,m\\ Ax=b\end{array}(1)$
存在$f_0$的最小值$p^{\ast }$

• 若该问题有可行域，那么$p^{\ast }\le t$；否则$p^{\ast }>t$
• 采用二分法求解$p^{\ast }$，复杂度是$lo{g}_2((u-l)/\epsilon )$
  • 假设$l\le p^{\ast },u\ge p^{\ast },允许误差\epsilon$
  • 迭代$\{\begin{array}{l}1.t=\frac{u+l}{2}\\ 2.求解可行域问题(1)\\ 3.\{\begin{array}{l}如果有解,减小上界u=\frac{u+l}{2}\\ 如果无解,增大上界l=\frac{u+l}{2}\end{array}\\ 直到间隔小于等于误差u-l\le \epsilon \end{array}$

线性优化linear optimization

线性规划linear program(LP)

定义：凸优化问题$\min c^{T}x+d,s.t\{\begin{array}{l}Gx\le h\\ Ax=b\end{array}G是行满秩[m=n时是唯一解]$
可行域是一个多面体,优化目标是一个等值面,沿梯度下降的方向移动,直到遇到临界边角.

举例：购买营养丰富的食物代价最小化
$c_j表示食物j的代价,x_j表示食物j的数量,a_{ij}表示食物j的第i类营养的含量,b_i是各类营养的要求$
$\min c^{T}x,s.t\{\begin{array}{l}x\ge 0\\ Ax\ge b\end{array}$

线性分片最小化($min,max⟹min)$

定义：凸优化问题$min{\max }_{i=1,...,m}{a}_i^{T}x+b_i$
$⟺$$\min t,s.t{a}_i^{T}x+b_i\le t,i=1,...,m$
举例：多面体的切比雪夫中心内置球的最大化
r表示内置球的半径$,a_i表示各个方向,x_c表示切比雪夫中心坐标$
$\max r,s.t{a}_i^T{x}_c+r||a_i|{|}_2\le b_i,i=1,...,m$

线性分式规划Linear-fractional program

定义：次凸优化问题 min ⁡ f 0 ( x ) = c T x + d e T x + f , s . t { G x ≤ h A x = b , d o m f 0 ( x ) = { x ∣ e T x + f > 0 } \min{f_0(x)=\frac{c^Tx+d}{e^Tx+f}},s.t\begin{cases} Gx\leq h \\ Ax=b \end{cases},domf_0(x)=\{x|e^Tx+f>0\} minf0​(x)=eTx+fcTx+d​,s.t{Gx≤hAx=b​,domf0​(x)={x∣eTx+f>0}
可以通过变量替换变成次凸问题的形式$y=\frac{x}{e^{T}x+f},z=\frac{1}{e^{T}x+f},x=\frac{y}{z}$
$\min c^{T}y+dz,s.t\{\begin{array}{l}Gy\le hz\\ Ay=bz\\ e^{T}y+fz=1\\ z\ge 0\end{array}$
然后通过二分法求解极小值点$p^{\ast }$

扩展线性分式规划generalized L-F

定义：次凸优化问题 f 0 ( x ) = max ⁡ i = 1 , . . . , r c i T x + d i e i T x + f i , d o m f 0 ( x ) = { x ∣ e i T x + f i > 0 , i = 1 , . . . , r } {f_0(x)=\max\limits_{i=1,...,r}{\frac{c_i^Tx+d_i}{e_i^Tx+f_i}}},domf_0(x)=\{x|e_i^Tx+f_i>0,i=1,...,r\} f0​(x)=i=1,...,rmax​eiT​x+fi​ciT​x+di​​,domf0​(x)={x∣eiT​x+fi​>0,i=1,...,r}，可以通过二分法求解
例子：稳健成长经济的冯诺依曼模型Von Neumann model

• $当前的活动x,下一刻活动x^{+}\in R^n,消耗量(Bx{)}_i,产出(Ax{)}_i,第i部分的成长率\frac{x_i^{+}}{x_i}$
• $\underset{x,x^{+}}{\max }\underset{i=1,...,n}{\min }\frac{x_i^{+}}{x_i},s.t\{\begin{array}{l}{x}^{+}\ge 0\\ B{x}^{+}\le Ax\end{array}$
• 求解方式：(可以对分式引入哑变量t）利用线性分片最小化（切比雪夫逼近）处理max,min(保凸运算)
  $\underset{x,x^{+}}{\min }\underset{i=1,...,n}{\max }-\frac{x_i^{+}}{x_i},s.t\{\begin{array}{l}{x}^{+}\ge 0\\ B{x}^{+}\le Ax\end{array}$
  • bisection【二分法】
    $\forall t<0,\underset{i=1,...,n}{\max }-\frac{x_i^{+}}{x_i}\le 0⟹{\varphi }_t(x^{+},x)=-tx-x^{+}\le 0$
    $find(x^{+},x),s.t\{\begin{array}{l}{\varphi }_t(x^{+},x)\le 0\\ x>0\\ x^{+}>0\\ B{x}^{+}<Ax\end{array}$
  • Piecewise-linear mininzation【线性分片最小化】
    $\underset{(x^{+},x,t)}{\min }t,s.t\{\begin{array}{l}-\frac{x_i^{+}}{x_i}\le t,i=1,...,m\\ x>0\\ x^{+}>0\\ B{x}^{+}\le Ax\end{array}$

线性规划是否有解的情况

• 可行域是空集：无解/不可行
• 可行域无界：无最优解，但可行解
• 可行域有界：有最优解
  • 最优解唯一，顶点存在且是最优解
  • 最优解不唯一，顶点依然是最优解

二次规划Quadratic program(QP)

普通二次规划

定义：二次凸优化函数 $\min \frac{1}{2}{x}^{T}Px+q^{T}x+r,s.t\{\begin{array}{l}Gx\le h\\ Ax=b\\ P\in S_{+}^n(半正定的对称矩阵)\end{array}$
目标函数是二次函数，所以是曲线形式(等值线)，然后沿着负梯度方向（与等值线垂直），找到可行域的临界（最优解不一定在顶点）

接下来介绍两个样例：

多面体间的最小距离

定义：二次凸函数$A⟺B$
P 1 = { x ∣ A 1 x < b 1 } , P 2 = { x ∣ A 2 x < b 2 } P_1=\{x|A_1x<b_1\},P_2=\{x|A_2x<b_2\} P1​={x∣A1​x<b1​},P2​={x∣A2​x<b2​}
d i s t ( P 1 , P 2 ) = inf ⁡ { ∣ ∣ x 1 − x 2 ∣ ∣ 2 ∣ ∣ x 1 ∈ P 1 , x 2 ∈ P 2 }    ⟺    min ⁡ ∣ ∣ x 1 − x 2 ∣ ∣ 2 2 , s . t { A 1 x 1 ≤ b 1 A 2 x 2 ≤ b 2 dist(P_1,P_2)=\inf\{||x_1-x_2||_2||x_1\isin P_1,x_2\isin P_2\}\iff\min{||x_1-x_2||_2^2},s.t\begin{cases} A_1x_1\leq b_1 \\ A_2x_2\leq b_2\end{cases} dist(P1​,P2​)=inf{∣∣x1​−x2​∣∣2​∣∣x1​∈P1​,x2​∈P2​}⟺min∣∣x1​−x2​∣∣22​,s.t{A1​x1​≤b1​A2​x2​≤b2​​
关于最小值：

• 两个多面体之间有交集时，肯定有最小点对
• 多面体没有交集时，最小点对不一定唯一，但多面体间距离最小值是唯一的

带噪音的线性规划

定义：二次凸函数$\min {\bar{c}}^{T}x+\gamma x^T\sum x=E(c^{T}x)+\gamma var(c^{T}x),s.t\{\begin{array}{l}Gx\le h\\ Ax=b\end{array}$
【噪音】
随机代价/变量$c$，$均值E(c)=\bar{c}，方差var(c)=E[(c-\bar{c}{)}^2]=\sum$
【个人理解】
假设是投资问题，那么x就是本金，c就是带风险的回报率，$\gamma$指投资人的风险承受力
$均值E(c^{T}x)={\bar{c}}^{T}x，方差var(c^{T}x)=E[(c^{T}x-E(c^{T}x){)}^2]=x^T\sum x$

最小二乘法

定义：二次凸函数$\min ||Ax-b|{|}_2^2,s.tl\le x\le \mu$
当没有限制条件下，有解析解$x=(A^{T}A{)}^{-1}Ab$

二次约束的二次规划quadratically constrained quadratic program(QCQP)

就是二次规划问题的一次线性不等式约束，变成二次的非线性不等式约束
定义：二次凸问题$\min \frac{1}{2}{x}^T{P}_{0}x+q_0^{T}x+r_0,s.t\{\begin{array}{l}\frac{1}{2}{x}^T{P}_{i}x+q_i^{T}x+r_i\le 0,i=1,...,m\\ Ax=b\\ P_i\in S_{+}^n(半正定的对称矩阵)\end{array}$
特别的：$P_i\in S_{++}^n(正定对称矩阵),可行域将在m个椭圆域的交集里$

二阶锥约束的线性规划Second-order cone programming(SOCP)

二次非线性的不等式条件属于二阶锥域
定义：一次凸问题$\min f^{T}x,s.t\{\begin{array}{l}||A_{i}x+b_i|{|}_2\le c_i^{T}x+d_i,i=1,...,m\\ Fx=g\end{array}$

• 隐性限制$\{\begin{array}{l}{A}_i\in R^{n_i\times n},A_i可以理解为测量矩阵，输入的是观测值的线性组合\\ F\in R^{P\times n},A_i和F都可以是非方阵\\ (A_{i}x+b_i,c_i^{T}x+d_i)\in R^{n_i+1}(二阶锥内)\end{array}$

• SOC是二阶锥的限制，要求$||f(x{)}_{(x,t)}|{|}_2\le t，s.t||x|{|}_2<t$

• $A_i=0⟹c_i^{T}x+d_i\ge b_i$，就变成了LP问题

• $c_i=0⟹||A_{i}x+b_i|{|}_2\le d_i⟹||A_{i}x+b_i|{|}_2^2\le d_i^2$，就变成了QCQP问题
  原式$=(A_{i}x+b_i{)}^T(A_{i}x+b_i)-d_i^2$
  $=x^T{A}_i^T{A}_{i}x+2b_i{A}_{i}x+b_i^2-d_i^2（A_i^T{A}_i\in S_{+}^n）$

• 思考:$当c_i\ne 0时，为什么不是QCQP问题？$
  因为存在隐性的线性不等式要求
  $||A_{i}x+b_i|{|}_2\le c_i^T+d_i⟺\{\begin{array}{l}||A_{i}x+b_i|{|}_2^2\le (c_i^{T}x+d_i{)}^2\\ c_i^{T}x+d_i\ge 0\end{array}$

• 所以SOCP问题相对LP问题和QCQP问题更一般

稳健的线性规划Robust linear programming(RLP)(带随机变量)

以下讨论的优化问题中存在随机变量，即不确定性的参数$c,a_i,b_i$
定义：凸优化问题$\min c^{T}x，s.t{a}_i^{T}x\le b_i,i=1,...,m$
接下来针对不确定性参数$a_i$进行处理，有以下两种方案。

利用确定约束转化为SOCP问题–deterministic approach

利用确定性的模型，强制要求所有点都符合参数的限制：$a_i\in {\epsilon }_i$
定义：凸优化问题$\min c^{T}x,s.t{a}_i^{T}x\le b_i,\forall a_i\in {\epsilon }_i,i=1,...,m$

• 设置椭球ellipsoid的限制 ε i = { a i ˉ + P i μ ∣   ∣ ∣ u ∣ ∣ 2 ≤ 1 } ( a i ˉ ∈ R n , P i ∈ R n × n ) \varepsilon_i=\{\bar{a_i}+P_i\mu|\space||u||_2\leq1\}(\bar{a_i}\isin R^n,P_i\isin R^{n\times n}) εi​={ai​ˉ​+Pi​μ∣ ∣∣u∣∣2​≤1}(ai​ˉ​∈Rn,Pi​∈Rn×n)
  $\underset{a_i\in {\epsilon }_i}{\sup }(a_i^{T}x)=\underset{||\mu |{|}_2\le 1}{\sup }({\overline{a_i}}^{T}x+(P_i\mu {)}^{T}x)={\overline{a_i}}^{T}x+\underset{||\mu |{|}_2\le 1}{\sup }((P_i\mu {)}^{T}x)$
  $\stackrel{\mu 最大是1}{=}{\overline{a_i}}^{T}x+||P_i^{T}x|{|}_2||\mu |{|}_2={\overline{a_i}}^{T}x+||P_i^{T}x|{|}_2$
• 代入线性不等式：${\overline{a_i}}^{T}x+||P_i^{T}x|{|}_2\le b_i,i=1,...,m$
• 所以转变为求解SOCP问题$\min c^{T}x,s.t||P_i^{T}x|{|}_2\le -{\overline{a_i}}^{T}x+b_i,i=1,...,m$

利用概率转化为SOCP问题–stochastic approach

要求有一定量的点符合线性不等式条件
定义：凸优化问题$\min c^{T}x,s.tprob(a_i^{T}x\le b_i)\ge \eta ,i=1,...,m$

• 假设部分参数符合高斯分布：$a_i\backsim N(\overline{a_i},{\sum }_i)，a_i^{T}x\backsim N({\overline{a_i}}^{T}x,x^T{\sum }_{i}x)$
• 标准化不等式：$P(a_i^{T}x\le b_i)=P(\frac{a_i^{T}x-{\overline{a_i}}^{T}x}{||{\sum }_i^{\frac{1}{2}}x|{|}_2}\le \frac{b_i-{\overline{a_i}}^{T}x}{||{\sum }_i^{\frac{1}{2}}x|{|}_2})=\Phi (\frac{b_i-{\overline{a_i}}^{T}x}{||{\sum }_i^{\frac{1}{2}}x|{|}_2})\ge \eta$
• 根据正态分布函数$\Phi$的反函数推导：$\frac{b_i-{\overline{a_i}}^{T}x}{||{\sum }_i^{\frac{1}{2}}x|{|}_2}\ge {\Phi }^{-1}(\eta )（\eta \ge \frac{1}{2}）$
  高斯分布$\{\begin{array}{l}CDF-cumulative-distribution-function累积分布函数(单增)\\ PDF-possibility-density-function概率密度函数\end{array}$
• 所以转化为求解SOCP问题$\min c^{T}x,s.t{\overline{a_i}}^{T}x+{\Phi }^{-1}(\eta )||{\sum }_i^{\frac{1}{2}}x|{|}_2\le b_i,i=1,...,m$

几何规划Geometric programming(GP)

引入限制函数

单项式函数monomial

定义：$f(x)=c{x}_1^{a_1}{x}_2^{a_2}...x_n^{a_n},domf\in R_{++}^n(正数),c>0$
$f(x)对任意方向都是单调的，x_i^{a_i}全是单调函数，取对数后，也是单调函数$

多项式函数posynomial

定义：$f(x)=\sum _{k=1}^K{c}_k{x}_1^{a_{1k}}{x}_2^{a_{2k}}...x_n^{a_{nk}},domf\in R_{++}^n(正数),c_k>0$

几何规划的凸优化形式

几何规划GP定义：$\min f_0(x),s.t\{\begin{array}{l}{f}_i(x)\le 1,i=1,...,m,f_i是多项式函数\\ h_i(x)=1,i=1,...,m,h_i是单项式函数\end{array}$

利用变量替换：$y_i=\log x_i⟹\{\begin{array}{l}单项式f\to \log f(e^{y_1},...,e^{y_n})=\sum a_i{y}_i+b(b=\log c)\\ 多项式f\to \log f(e^{y_1},...,e^{y_n})=\log (\sum _{k=1}^K{e}^{(a_k^{T}y+b_k)})(b_k=\log c_k)\end{array}$

GP的凸优化形式：$\min \log (\sum _{k=1}^K{e}^{(a_{0k}^{T}y+b_{0k})}),s.t\{\begin{array}{l}\log (\sum _{k=1}^K{e}^{(a_{ik}^{T}y+b_{ik})})\le 0,i=1,...,m\\ Gy+d=0\end{array}$
比如：$\log (\Pi (y^y(1-y{)}^y))$

广义不等式约束generalized inequality constraints

就是将约束改为广义不等式
定义：凸优化问题$\min f_0(x)，s.t\{\begin{array}{l}{f}_i(x){⪯}_{K_i}0,i=1,...,m\\ Ax=b\end{array}$
其中：$f_0:R^n\to R是凸函数；f_i:R^n\to R^{k_i}在好锥K_i的定义域内是凸函数$，他们都具备标准凸优化问题的性质：具有可行域凸集，局部最优就是全局最优

锥conic形式的线性规划

定义：凸优化问题$\min c^{T}x，s.t\{\begin{array}{l}Fx+g{⪯}_{K}0,i=1,...,m\\ Ax=b\end{array}$
其中：$当K=R_{+}^m时，问题转化为线性规划LP$

半正定规划Semidefinite program(SDP)

定义：凸优化问题$\min c^{T}x，s.t\{\begin{array}{l}\sum _{i=1}^n{x}_i{F}_i+G⪯0\\ Ax=b\\ F_i,G\in S^k(对称矩阵)\end{array}$

线性矩阵不等式linear matrix inequality(LMI)：将多个不等关系合并在为一个不等式，要求是同时成立的。

$\{\begin{array}{l}{x}_1\widehat{F_1}+...+x_n\widehat{F_n}+\hat{G}⪯0\\ x_1\widetilde{F_1}+...+x_n\widetilde{F_n}+\tilde{G}⪯0\end{array}$
$⟺x_1\left[\begin{array}{cc}\widehat{F_1}& 0\\ 0& \widetilde{F_1}\end{array}\right]+...+x_n\left[\begin{array}{cc}\widehat{F_n}& 0\\ 0& \widetilde{F_n}\end{array}\right]+\left[\begin{array}{cc}\hat{G}& 0\\ 0& \tilde{G}\end{array}\right]⪯0$

LP as SDP

$LP:\min c^{T}x，s.tAx⪯b$
$⟹SDP:\min c^{T}x，s.tdiag(Ax-b)⪯0$

SOCP as SDP

$SOCP:\min f^{T}x，s.t||A_{i}x+b_i|{|}_2\le c_i^{T}x+d_i,i=1,...,m$
$⟹SDP:\min f^{T}x，s.t\left[\begin{array}{cc}(c_i^{T}x+d_i)I& A_{i}x+b_i\\ (A_{i}x+b_i{)}^T& c_i^{T}x+d_i\end{array}\right]⪰0,i=1,...,m$
注意：需要保证上面矩阵的特征值都大于0，可以利用舒尔补进行证明

• 舒尔补：A是非奇异的，A在M中的舒尔补：$D-C{A}^{-1}B$
  $|M|=\left|\begin{array}{cc}A& B\\ C& D\end{array}\right|\stackrel{A做初等对角化}{=}\left|\begin{array}{cc}A& 0\\ 0& D-C{A}^{-1}B\end{array}\right|=|A||D-C{A}^{-1}B|$
  $⟹\left|\begin{array}{cc}(c_i^{T}x+d_i)I& 0\\ 0& c_i^{T}x+d_i-(A_{i}x+b_i{)}^T[(c_i^{T}x+d_i)I{]}^{-1}(A_{i}x+b_i)\end{array}\right|$

• 所以要求满足$\{\begin{array}{l}{c}_i^{T}x+d_i\ge 0\\ c_i^{T}x+d_i-(A_{i}x+b_i{)}^T[(c_i^{T}x+d_i)I{]}^{-1}(A_{i}x+b_i)\ge 0\end{array}$

• $|M|=(c_i^{T}x+d_i{)}^2-||A_{i}x+b_i|{|}_2^2\stackrel{根据SOCP的条件}{=}|M|\ge 0(得证)$

特征值最小化Eigenvalue minimization

定义：凸优化问题$\min {\lambda }_{max}(A(x))，s.t\{\begin{array}{l}A(x)=A_0+x_1{A}_1+...+x_n{A}_n\\ A_i\in S^k(对称矩阵)\end{array}$

$⟹SDP:\min t，s.tA(x)⪯tI,x\in R^n,t\in R$
其中：$A(x)⪯tI⟺{\lambda }_{max}(A)\le t$。

矩阵范数最小化Matrix norm minimization

定义：凸优化问题$\min ||A(x)|{|}_2=({\lambda }_{max}(A(x{)}^{T}A(X)){)}^{\frac{1}{2}}，s.t\{\begin{array}{l}A(x)=A_0+x_1{A}_1+...+x_n{A}_n\\ A_i\in R^{p\times q}(对称矩阵)\end{array}$
$⟹SDP:\min t，s.t\left[\begin{array}{cc}tI& A(x)\\ A(x{)}^T& tI\end{array}\right]⪰0,x\in R^n,t\in R$

其中：$||A(x)|{|}_2\le t⟺A^{T}A⪯t^{2}I,t\ge 0⟺\left[\begin{array}{cc}tI& A(x)\\ A(x{)}^T& tI\end{array}\right]⪰0$，也是利用舒尔补证明

向量优化vector optimization

就是将传统的目标函数改为广义目标函数
$\underset{K\in R^q,f_0:R^n\to R^q}{\min }{f}_0(x)，s.t\{\begin{array}{l}{f}_i(x)\le 0,i=1,...,m\\ h_i(x)=0,i=1,...,p\end{array}$
$⟺\underset{f_0:K-convex,f_i:convex}{\min }{f}_0(x)，s.t\{\begin{array}{l}{f}_i(x)\le 0,i=1,...,m\\ Ax=b\end{array}$

全局Optimal和帕累托Pareto最小值

• 全局最小值optimal，对于多目标，任意其他值都比$f_0(x^{\ast })$大
  
• 局部最小值parato，对于单目标，任意其他值都比$f_0(x^{po})$大；但对于多目标，不是所有值都大于$f_0(x^{po})$
  

多中心Multicriterion优化

定义：向量优化问题$\min f_0(x)=(F_1(x),...,F_q(x)),s.t\{\begin{array}{ll}q个目标函数F_i& K\in R_{+}^q(非负)\\ x^{\ast }-optimal& y-feasible⟹f_0(x^{\ast })⪯f_0(y)\\ x^{po}-Pareto& y-feasible,f_0(y)⪯f_0(x^{po})⟹f_0(x^{po})=f_0(y)\end{array}$

也就是如果多目标最优点optimal存在，那么结果就是唯一的；如果只存在部分目标的最优点Pareto，那么在他们对于相同目标函数(可比的)情况下，Pareto点是最小值

多目标的形成

希望在拟合时，不仅仅是逼近，而是保证其他优良特性(e.g.稀疏值最小，模最小等)

正则化的最小二乘Regularized least-squares

定义：$\underset{w.r.t.R_{+}^2}{\min }(||Ax-b|{|}_2^2,||x|{|}_2^2)$

风险投资优化Risk return trade-off in portfolio optimization

定义：$\underset{w.r.t.R_{+}^2}{\min }(-{\bar{p}}^{T}x,x^T\sum x),s.t{1}^{T}x=1,x⪰0$
比如在风险投资优化中，既希望期望收入高，又希望损失风险(方差)最小

标量化Scalarization

针对多目标函数，找出所有权重方式的Pareto点，从中选出一种折中的方案
定义：标量问题$\underset{fin{d}_{\lambda {\succ }_{K^{\ast }}0}}{\min }{\lambda }^T{f}_0(x),s.t\{\begin{array}{l}{f}_i(x)\le 0,i=1,...,m\\ h_i(x)=0,i=1,...,p\end{array}$

常见标量化用法

利用加权的方式：${\lambda }^T{f}_0(x)={\lambda }_1{F}_1(x)+...+{\lambda }_q{F}_q(x)$

最小二乘法&投资风险优化

最小二乘法-加权：$\underset{\lambda =(1,\gamma ),\gamma >0}{\min }(||Ax-b|{|}_2^2+\gamma ||x|{|}_2^2)$

投资风险优化-加权：$\underset{\gamma >0}{\min }-{\bar{p}}^{T}x+\gamma x^T\sum x,s.t{1}^{T}x=1,x⪰0$

总结

• 凸优化问题及其标准形式

  • 凸优化问题
    $\underset{x}{\min }{f}_0(x)，s.t\{\begin{array}{l}{f}_i(x)\le 0,i=1,...,m\\ h_i(x)=0,i=1,...,p\end{array}$
  • 可行域问题
    找$x使得f_0(x)=0，s.t\{\begin{array}{l}{f}_i(x)\le 0,i=1,...,m\\ h_i(x)=0,i=1,...,p\end{array}$

• 局部最小值和全局最小值问题

  • 定义1：非空集合里存在满足约束的元素x,且x属于$f_0$的定义域内（$x\in dom{f}_0$）。
  • 定义2：非空集里的元素x使得$f_0(x)=p^{\ast }(就是\infty )$，那么x就是目标函数的最优点。
  • 定义3：$X_{opt}是最优点x的集合$。（极值表现为某一段水平线）
  • 定义4：如果存在$R>0$且满足$x_0是f_0(x)$的最优点$\left(\begin{array}{c}s.t\{\begin{array}{l}{f}_i(x)\le 0,i=1,...,m\\ h_j(x)=0,j=1,...,p\\ ||x-x_0|{|}_2\le R\end{array}\end{array}\right)$，那么$x_0$就是局部最优点。（多个极值）
  • 定理：凸优化问题的任意一个局部最优点就是全局最优点

• 可微函数的最优性条件

  • 定义：$f_0(x)可导$
    $x,y\in$可行解，且$\forall y,有▽f_0(x{)}^T(y-x)\ge 0⟺x$是最优点
  • 性质：
    1.可行解集X是凸集
    2.$-▽f_0(x)$是函数下降的方向，说明沿下降方向已无更优可行解
    3.$-▽f_0(x)$定义出一个（垂直）的支撑面supporting hyperplane
  • 无约束问题的条件
    $x\in dom{f}_0,▽f_0(x)=0⟺x$是最优点
  • 等式约束问题的条件
    $\min f_0(x),s.tAx=b$
    $\exists \mu ,s.tx\in dom{f}_0,Ax=b,▽f_0(x)=A^T\mu ⟺x$是最优点
  • 特殊问题的条件
    $\min f_0(x),s.t\{\begin{array}{l}x\ge 0\\ dom{f}_0=R_{+}^n\end{array}$
    $x\in dom{f}_0,x\ge 0,\{\begin{array}{ll}{▽}^T{f}_0(x{)}_i\ge 0& x_i=0\\ {▽}^T{f}_0(x{)}_i=0& x_i>0\end{array}⟺x$是最优点

• 等价凸优化问题

  • 消除等式约束
    $\min f_0(Fz+x_0),s.t{f}_i(Fz+x_0)\le 0,i=1,...,m$
  • 引入等式约束
    $\min f_0(y_0),s.t\{\begin{array}{l}{f}_i(y_i)\le 0,i=1,...,m\\ y_i=A_{i}x+b_i,i=0,1,...,m\end{array}$
  • 不等式约束变成等式约束
    $\min f_0(x),s.t\{\begin{array}{l}{a}_i^{T}x+s_i=b_i,i=1,...,m\\ s_i\ge 0,i=1,...,m\end{array}$
  • epigraph形式
    $\underset{(x,t)}{\min }t,s.t\{\begin{array}{l}{f}_0(x)-t\le 0(凸函数)\\ f_i(x)\le 0,i=1,...,m\\ Ax=b\end{array}$
  • 最小化一些无关变量
    $\min \widetilde{f_0}(x_1)=\underset{x_2}{\inf }{f}_0(x_1,x_2)，s.t{f}_i(x_1)\le 0,i=1,...,m$

• 次凸优化问题

  • 次凸函数
    $次凸函数f_0(x),m个凸函数f_i(x)$
    $\min f_0(x),s.t\{\begin{array}{l}{f}_i(x)\le 0,i=1,...,m\\ Ax=b\end{array}$
  • 次凸函数向凸函数的转化
    $对于一个次凸函数f_0，转化为一系列的多个凸函数{\varphi }_t(x)，\forall t使得对于x来说，f_0(x)\le t⟺{\varphi }_t(x)\le 0$
  • 次凸问题转换为可行域问题：二分法求解极小值
    $findx,s.t\{\begin{array}{l}{\varphi }_t(x)\le 0\\ f_i(x)\le 0,i=1,...,m\\ Ax=b\end{array}$

• 线性优化

  • 线性规划LP
    凸优化问题$\min c^{T}x+d,s.t\{\begin{array}{l}Gx\le h\\ Ax=b\end{array}$
  • 线性分式规划
    次凸优化问题$\min f_0(x)=\frac{c^{T}x+d}{e^{T}x+f},s.t\{\begin{array}{l}Gx\le h\\ Ax=b\end{array}$
    d o m f 0 ( x ) = { x ∣ e T x + f > 0 } domf_0(x)=\{x|e^Tx+f>0\} domf0​(x)={x∣eTx+f>0}
  • 扩展线性分式规划
    次凸优化问题 f 0 ( x ) = max ⁡ i = 1 , . . . , r c i T x + d i e i T x + f i , d o m f 0 ( x ) = { x ∣ e i T x + f i > 0 , i = 1 , . . . , r } {f_0(x)=\max\limits_{i=1,...,r}\frac{c_i^Tx+d_i}{e_i^Tx+f_i}},domf_0(x)=\{x|e_i^Tx+f_i>0,i=1,...,r\} f0​(x)=i=1,...,rmax​eiT​x+fi​ciT​x+di​​,domf0​(x)={x∣eiT​x+fi​>0,i=1,...,r}

• 二次规划

  • 普通二次规划QP
    定义：$\min \frac{1}{2}{x}^{T}Px+q^{T}x+r,s.t\{\begin{array}{l}Gx\le h\\ Ax=b\\ P\in S_{+}^n(半正定的对称矩阵)\end{array}$
  • 二次约束的二次规划QCQP
    定义：$\min \frac{1}{2}{x}^T{P}_{0}x+q_0^{T}x+r_0,s.t\{\begin{array}{l}\frac{1}{2}{x}^T{P}_{i}x+q_i^{T}x+r_i\le 0,i=1,...,m\\ Ax=b\\ P_i\in S_{+}^n(半正定的对称矩阵)\end{array}$

• 二阶锥约束的线性规划SOCP
  定义：$\min f^{T}x,s.t\{\begin{array}{l}||A_{i}x+b_i|{|}_2\le c_i^{T}x+d_i,i=1,...,m\\ Fx=g\end{array}$

• 带随机变量的线性规划RLP

  • 定义：$\min c^{T}x，s.t{a}_i^{T}x\le b_i,i=1,...,m$
  • 确定模型转化为求解SOCP问题
    $\min c^{T}x,s.t||P_i^{T}x|{|}_2\le -{\overline{a_i}}^{T}x+b_i,i=1,...,m$
  • 概率模型转化为求解SOCP问题
    $\min c^{T}x,s.t{\overline{a_i}}^{T}x+{\Phi }^{-1}(\eta )||{\sum }_i^{\frac{1}{2}}x|{|}_2\le b_i,i=1,...,m$

• 几何规划

  • 普通几何规划GP：
    定义：$\min f_0(x),s.t\{\begin{array}{l}{f}_i(x)\le 1,i=1,...,m,f_i是多项式函数\\ h_i(x)=1,i=1,...,m,h_i是单项式函数\end{array}$
  • GP的凸优化形式（变量替换&取对数）：
    $\min \log (\sum _{k=1}^K{e}^{(a_{0k}^{T}y+b_{0k})}),s.t\{\begin{array}{l}\log (\sum _{k=1}^K{e}^{(a_{ik}^{T}y+b_{ik})})\le 0,i=1,...,m\\ Gy+d=0\end{array}$

• 广义不等式约束

  • 好锥范围下的凸优化
    定义：凸优化问题$\min f_0(x)，s.t\{\begin{array}{l}{f}_i(x){⪯}_{K_i}0,i=1,...,m\\ Ax=b\end{array}$
  • 锥形式的线性规划
    定义：凸优化问题$\min c^{T}x，s.t\{\begin{array}{l}Fx+g{⪯}_{K}0,i=1,...,m\\ Ax=b\end{array}$
  • 半正定规划SDP
    定义：凸优化问题$\min c^{T}x，s.t\{\begin{array}{l}\sum _{i=1}^n{x}_i{F}_i+G⪯0,F_i,G\in S^k(对称矩阵)\\ Ax=b\end{array}$
    • LP as SDP
      $\min c^{T}x，s.tdiag(Ax-b)⪯0$
    • SOCP as SDP
      $\min f^{T}x，s.t\left[\begin{array}{cc}(c_i^{T}x+d_i)I& A_{i}x+b_i\\ (A_{i}x+b_i{)}^T& c_i^{T}x+d_i\end{array}\right]⪰0,i=1,...,m$

• 多目标函数标量化（向量优化）

  • 普通凸优化
    定义：向量优化问题$\min f_0(x)=(F_1(x),...,F_q(x)),s.t\{\begin{array}{ll}q个目标函数F_i& K\in R_{+}^q(非负)\\ x^{\ast }-optimal& y-feasible⟹f_0(x^{\ast })⪯f_0(y)\\ x^{po}-Pareto& y-feasible,f_0(y)⪯f_0(x^{po})⟹f_0(x^{po})=f_0(y)\end{array}$
  • 标量化
    定义：标量问题$\underset{fin{d}_{\lambda {\succ }_{K^{\ast }}0}}{\min }{\lambda }^T{f}_0(x),s.t\{\begin{array}{l}{f}_i(x)\le 0,i=1,...,m\\ h_i(x)=0,i=1,...,p\end{array}$

• 各种规划问题的汇总对比【个人理解】

优化问题	目标函数	限制函数
线性规划LP	线性函数（凸）	线性不等式约束；线性等式约束
线性分式规划	线性分式（次凸）	线性不等式约束；线性等式约束
扩展线性分式规划	线性分式（次凸+max保凸）	线性不等式约束
二次规划QP	二次函数（凸）	线性不等式约束；线性等式约束
二次约束的二次规划QCQP	二次函数（凸）	二次不等式约束（凸）；线性等式约束
二阶锥约束的线性规划SOCP	线性函数（凸）	二阶锥不等式约束（凸）；线性等式约束
稳健的线性规划RLP	含随机变量的线性函数（凸）	含随机变量的线性不等式约束
几何规划GP	多项式函数（取对数-凸）	多项式不等式约束；单项式线性等式约束
广义不等式约束的线性规划	线性函数（凸）	广义不等式约束（可线性）；线性等式约束
半正定的规划SDP	线性函数（凸）	线性矩阵不等式约束LMI；线性等式约束
向量优化	向量	线性不等式约束；线性等式约束
多目标函数规划–标量化	多个目标加权函数	线性不等式约束；线性等式约束

• 规划问题的转换思想
  

Reference

总结1
总结2
凸优化PPT