凸优化第三章——凸优化问题

优化问题

优化问题的标准形式

$$\begin{array}{rlrl}minimize& & & f_0(x)\\ subjectto& & & f_i(x)\le 0,i=1,...,m\\ & & & h_i(x)=0,i=1,...,p\end{array}$$

最优值$p^{\ast }$定义为：
p ∗ = i n f { f 0 ( x ) ∣ f i ( x ) ≤ 0 ,   i = 1 , . . . , m ,   h i ( x ) = 0 ,   i = 1 , . . . , p } \begin{align*} p^*=inf\{f_0(x)|f_i(x)\le 0,\ i=1,...,m,\ h_i(x)=0,\ i=1,...,p\} \end{align*} p∗=inf{f0​(x)∣fi​(x)≤0, i=1,...,m, hi​(x)=0, i=1,...,p}​
如果问题不可行，$p^{\ast }=\infty$；如果有无界解，则$p^{\ast }=-\infty$。

定义域记为$D$，$D={\bigcap }_{i=1}^{m}dom{f}_i\cap {\bigcap }_{i=1}^{p}dom{h}_i$

局部最优解

如果存在$R>0$，使得$x$是关于$z$的优化问题
$$\begin{array}{rlrl}minimize& & & f_0(z)\\ subjectto& & & f_i(z)\le 0,i=1,...,m\\ & & & h_i(z)=0,i=1,...,p\\ & & & \parallel z-x{\parallel }_2\le R\end{array}$$
的最优解，则称$x$是问题
$$\begin{array}{rlrl}minimize& & & f_0(x)\\ subjectto& & & f_i(x)\le 0,i=1,...,m\\ & & & h_i(x)=0,i=1,...,p\end{array}$$
的一个局部最优解（locally optimal points）。

即

$x$是以上问题的最优解$⟺$存在$R>0$，使得 f 0 ( x ) = i n f { f 0 ( z ) ∣ f i ( z ) ≤ 0 , i = 1 , . . . m , h i ( z ) = 0 , i = 1 , . . . , p , ∥ z − x ∥ 2 ≤ R } f_0(x)=inf\{f_0(z)|f_i(z)\le0,i = 1,...m,h_i(z)=0,i=1,...,p,\parallel z-x\parallel_2\le R\} f0​(x)=inf{f0​(z)∣fi​(z)≤0,i=1,...m,hi​(z)=0,i=1,...,p,∥z−x∥2​≤R}

可行性问题

令目标函数为0，那么该问题的最优函数值要么为0（可行），要么为$\infty$（不可行）。称这类问题为可行性问题，可以写作：
$$\begin{array}{rlrl}& minimize& & 0\\ & subjectto& & f_i(x)\le 0,i=1,...,m\\ & & & h_i(x)=0,i=1,...,p\end{array}$$
或者
$$\begin{array}{rlrl}& find& & x\\ & subjectto& & f_i(x)\le 0,i=1,...,m\\ & & & h_i(x)=0,i=1,...,p\end{array}$$

等价问题

1. 变量变换

2. 消除等式约束

   令$x=\varphi (z)$，函数$\varphi$满足：$h_i(x)=0⟺$存在$z\in dom\varphi$，使得$\varphi (z)=x$

   则问题

   $minimize{f}_0(\varphi (z))$

   $subjectto{f}_i(\varphi (z))\le 0,i=1,...,m$

   与原问题等价。

凸优化问题

凸优化问题的标准形式

$$\begin{array}{rlrl}minimize& & & f_0(x)\\ subjectto& & & f_i(x)\le 0,i=1,...,m\\ & & & h_i(x)=0,i=1,...,p\end{array}$$

• $f_0,f_1,...,f_m$是凸的

• 等式约束$h_i(x)=a_i^{T}x-b_i$必须是仿射（线性）的，通常写成$Ax=b$

注：如果$f_0(x)$是拟凸函数，$f_1,...,f_m$是凸的且等式约束是仿射的，那么该问题是拟凸优化问题

凸优化问题的性质

• 凸优化问题的可行域是凸集（凸函数的任意下水平集是凸集，超平面是凸集，凸集的交集是凸集）
• 局部最优解一定是全局最优解之一（求证）。（但对于拟凸优化问题，这一性质不一定成立）

可微函数$f_0$的最优性准则

设凸优化问题的目标函数$f_0$是可微的，其可行域为$X$。那么：
$x$是最优解$⟺$$x\in X$并且对于任意$y\in X$有$\nabla f_0(x{)}^T(y-x)\ge 0$

（求证）

• 无约束问题

  如果m=p=0，则称这样的优化问题为无约束问题。（即使目标函数有隐含约束，如log x隐含x>0的条件，但只要没有约束条件，就是无约束问题）

  对于无约束的凸优化问题，设目标函数$f_0$是可微凸函数，则

  $x$是最优解$⟺x\in Xand\nabla f(x)=0$

• 只含等式约束的问题

  $minimize{f}_0(x)$

  $subjecttoAx=b$

  拉格朗日乘数法

• 非负象限中的极小化

  minimization over nonnegative orthant
  $$\begin{array}{rlrl}minimize& & & f_0(x)\\ subjectto& & & x⪰0\end{array}$$
  设目标函数$f_0$是可微凸函数，则

  $x$是最优解$⟺x⪰0,\nabla f_0(x)⪰0,x_i(\nabla f_0(x){)}_i=0,i=1,...,n$

  证明：

  该问题的最优性条件为：
  $$\begin{array}{rlr}x⪰0,& & \nabla f_0(x{)}^T(y-x)\ge 0,\forall y⪰0\end{array}$$
  $\nabla f_0(x{)}^T(y-x)\ge 0$是关于$y$的线性函数，只有当$\nabla f_0(x)⪰0$时才有下界$-\nabla f_0(x{)}^{T}x$，因此该条件可以简化为$\nabla f_0(x)⪰0,-\nabla f_0(x{)}^{T}x\ge 0$。又因为$x⪰0$，所以$\nabla f_0(x{)}^{T}x=0$，即$(\nabla f_0(x){)}_i^T{x}_i=0,i=1,...,n$。

  因此最优性条件为：
  $$\begin{array}{rl}& x⪰0\\ & \nabla f_0(x)⪰0\\ & (\nabla f_0(x){)}_i^T{x}_i=0,i=1,...,n\end{array}$$

等价的凸问题

• 消除等式约束和引入等式约束

  由于凸优化问题的等式约束必须是线性函数，因此有

  $minimize{f}_0(A_{0}x+b_0)$

  $subjectto{f}_i(A_{i}x+b)\le 0,i=1,...,m$

  等价于（凸性不变）

  $minimize{f}_0(y_0)$

  $subjectto{f}_i(y_i)\le 0,y_i=A_{i}x+b_i,i=0,1,...,m$

• 松弛变量

• 上镜图问题形式

  $minimize{f}_0(x)$

  $subjectto{f}_i(x)\le 0,i=1,...,m$

  $a_i^{T}x=b_i,i=1,...,p$

  的上镜图形式为：

  $minimize(overx,t)t$

  $subjectto{f}_0(x)\le t$

  $f_i(x)\le 0,i=1,...,m$

  $a_i^{T}x=b_i,i=1,...,p$

  依然是凸优化问题

• 极小化部分变量

  由于KaTeX parse error: Undefined control sequence: \symbf at position 1: \̲s̲y̲m̲b̲f̲{\underset{x,y}…，也就是说优化顺序无关紧要。所以有：

  $minimize{f}_0(x_1,x_2)$

  $subjectto{f}_i(x_1)\le 0,i=1,...,m$

  等价于

  $minimize{\tilde{f}}_0(x_1)$

  $subjectto{f}_i(x_1)\le 0,i=1,...,m$

  其中KaTeX parse error: Undefined control sequence: \symbf at position 22: …ilde{f}_0(x_1)=\̲s̲y̲m̲b̲f̲{\underset{x_2}…

  ${\tilde{f}}_0(x_1)$依然是凸函数（部分极小化是保凸运算）。

拟凸优化

• 拟凸优化问题的局部最优解未必是全局最优解
• $x$是拟凸优化问题的全局最优解的充分条件：$x\in X$并且 ∇ f ( x ) T ( y − x ) > 0 , ∀ y ∈ X / { x } \nabla f(x)^T(y-x)>0,\forall y\in X/ \{x\} ∇f(x)T(y−x)>0,∀y∈X/{x}

线性规划问题(LP)

线性规划(Linear Programming)的一般形式
$$\begin{array}{rlrl}minimize& & & c^{T}x(+d)\\ subjectto& & & Gx⪯h\\ & & & Ax=b\end{array}$$

线性规划问题就是$f_i$都是线性函数的特殊凸优化问题，可以用凸优化的方法求解。

线性规划的标准形式
$$\begin{array}{rlrl}minimize& & & c^{T}x\\ subjectto& & & Ax=b\\ & & & x⪰0\end{array}$$

或
$$\begin{array}{rlrl}minimize& & & c^{T}x\\ subjectto& & & Ax=b\end{array}$$

将线性规划转换为标准形式

1. 引入松弛变量
2. 将无约束变量$x$表示为$x=x^{+}+x^{-},x^{+},x^{-}\ge 0$

线性分式规划

在多面体上极小化仿射函数之比的问题称为线性分式规划：
$$\begin{array}{rlrl}minimize& & & f_0(x)\\ subjectto& & & Gx⪯h\\ & & & Ax=b\end{array}$$
其中KaTeX parse error: Undefined control sequence: \symbf at position 30: …^Tx+d}{e^Tx+f},\̲s̲y̲m̲b̲f̲{dom}\ f_0=\{x|…。$f_0(x)$是拟凸的（事实上是拟线性的）且所有约束都是仿射的，因此线性分时问题是一个拟凸优化问题。

转换为线性规划
$$\begin{array}{rlrl}minimize& & & c^{T}y+dz\\ subjectto& & & e^{T}y+fz=1\\ & & & Gy-hz⪯0\\ & & & Ay-bz=0\\ & & & z\ge 0\end{array}$$
令$y=\frac{x}{e^{T}x+f},z=\frac{1}{e^{T}x+f}$可以说明等价性。证明方法：对于第一个问题中任意一个可行解，问题二中都有与之相对的可行解使它们的目标函数值相同；反之亦同。

广义线性分式规划
$$\begin{array}{rlrl}minimize& & & f_0(x)\\ subjectto& & & Gx⪯h\\ & & & Ax=b\end{array}$$
其中KaTeX parse error: Undefined control sequence: \symbf at position 60: …_i}{e_i^T+f_i},\̲s̲y̲m̲b̲f̲{dom}f_0=\{x|e_….

目标函数是拟凸的。

二次优化问题(QP)

Quadratic Program
$$\begin{array}{rlrl}minimize& & & (1/2)x^{T}Px+q^{T}x+r\\ subjectto& & & Gx⪯h\\ & & & Ax=b\end{array}$$
其中$P\in S_{+}^n$（半正定矩阵集），因此目标函数是凸二次型，又由于约束都是仿射的，因此QP是凸优化问题。

LP$\subseteq$QP。

二次约束二次规划(QCQP)

Quadratically Constrained Quadratic Program：
$$\begin{array}{rlrl}minimize& & & (1/2)x^T{P}_{0}x+q^{T}x+r\\ subjectto& & & (1/2)x^T{P}_{i}x+q^{T}x+r\le 0,i=1,...,m\\ & & & Ax=b\end{array}$$
其中$P_i\in S_{+}^n,i=0,1,...,m$。

LP$\subseteq$QP$\subseteq$QCQP。

二阶锥规划(SCOP)

Second-Order Cone Program：
$$\begin{array}{rlrl}minimize& & & f^{T}x\\ subjectto& & & ||A_{i}x+b_i|{|}_2\le c_i^T+d_i,i=1,...,m\\ & & & Fx=g\end{array}$$
LP$\subseteq$QP$\subseteq$QCQP$\subseteq$SCOP。

鲁棒线性优化

随机约束下的线性规划

几何规划