1 introduction
在前面两个章节,回顾了凸集、凸函数、凸集和凸函数联系。从这章开始认识凸优化问题。
其中,关于各种典型的类别的凸优化问题,主要参考了[2]。
2 凸优化问题
2.1 优化问题的标准形式
2.1.1 优化问题的最优解
优化问题的最优解
解集可能存在两种极端情况
2.1.2 优化问题的解集
- 可行解
如果 x i x_i xi满足 f i ( x ) 、 h i ( x ) f_i(x)、h_i(x) fi(x)、hi(x),则称 x i x_i xi是可行解。 - 最优解
如果 x i x_i xi,使得 f 0 ( x i ) = p ∗ f_0(x_i)=p* f0(xi)=p∗,则称 x i x_i xi是最优解。 - 局部最优解
在z附近的局部区域, x i x_i xi是最优解,对于整个优化问题来说,是局部最优解。
2.1.3 常见问题的最优解
下面三个是典型的一维优化问题的最小值和最优解。
2.1.4 隐式和显式约束
- 显式约束
f i 和 h i 是 显 式 约 束 f_i和h_i是显式约束 fi和hi是显式约束
- 隐式约束
2.1.5 可行性问题
对
f
0
(
x
)
f_0(x)
f0(x)并没有目标要求,设置成
f
0
(
x
)
=
0
f_0(x)=0
f0(x)=0
2.2 凸优化问题
对于一般的优化问题,要求解,目前我们已经学过的方法是求导和画图迭代求解。
及其重要的性质是:凸优化问题的解集是凸集。
根据上面学的凸函数交集或拟凸函数的下水平集仍然是凸集,可以得到这一结论。
- example
2.3 凸优化问题的特性
2.3.1 任何局部最优解都是全局最优解
根据[1],证明非常简单,设X是局部最优解,y是全局最优解,那么在
∣
∣
z
−
x
∣
∣
<
R
||z-x||<R
∣∣z−x∣∣<R的区间里,根据凸函数的性质得到
f
0
(
z
)
<
f
0
(
x
)
f_0(z)<f_0(x)
f0(z)<f0(x),很容易推出矛盾。
2.3.2 从支撑超平面判定最优解
从图上很容易理解这样的关系,但是问题在于,很难利用这个条件去计算最优解。
▽
f
0
(
x
)
T
(
y
−
x
)
\bigtriangledown f_0(x)^T(y-x)
▽f0(x)T(y−x)定义了支撑平面,说明了任意的
y
∈
X
y \in X
y∈X都在支撑平面的一侧,不管如何从
x
→
y
x \to y
x→y在
▽
f
0
(
x
)
\bigtriangledown f_0(x)
▽f0(x)这个方向上都是增加的。
2.3.3 其他情况下最优解的求解
- 无约束情况下
无约束情况,采用类似于函数求极值的方法。
- 只有等式约束情况下
根据几何图像,很容易得到Ax=b对应的平面是 f 0 ( x ) f_0(x) f0(x)的支撑超平面。
有 ▽ f 0 ( x ) ⊥ N ( A ) \bigtriangledown f_0(x) \perp \mathcal{N}(A) ▽f0(x)⊥N(A),从拉格朗日算子描述为
存在 ν ∈ R P , 使 得 ▽ f 0 ( x ) + A ν = 0 \nu \in R^P, 使得 \bigtriangledown f_0(x)+A\nu=0 ν∈RP,使得▽f0(x)+Aν=0
- 只有非负约束
看 不 懂 \color{red}{看不懂} 看不懂
2.3.4 等价的凸问题
- 消除等式约束
- 增加等式约束
这个就比较容易理解,上面的逆操作
- 松弛变量
如果不等式约束是线性的
- 上镜图形式
- 极小化部分变量
极小化凸函数保持凸性不变, min inf ( f 0 ( x 1 , x 2 ) ) 等 价 于 m i n f 0 ( x 1 , x 2 ) \min \inf(f_0(x_1,x_2)) 等价于 min f_0(x_1, x_2) mininf(f0(x1,x2))等价于minf0(x1,x2)。
类似于极小化部分变量,先从每个部分找最小值,然后通过相互比较,找到全局最小值。
2.3.5 各种典型的凸优化问题
下图是各种典型凸优化问题之间的联系,在回顾各种典型的凸优化问题时,重点关注各种不同的凸优化问题之间的联系。
2.4 拟凸优化
2.4.1 定义
优化问题的基本结构仍然不变,因为拟凸函数的解集是凸集,所以
f
i
(
x
)
和
h
i
(
x
)
f_i(x)和h_i(x)
fi(x)和hi(x)的要求是相似的.
当
f
0
(
x
)
f_0(x)
f0(x)是拟凸函数时,问题变成了一个拟凸优化问题。
2.4.2 和凸优化问题的区别
在深入分析之前,需要先从几何直觉上回顾一下拟凸函数和凸函数的最大区别。
- 局部极小值不是全局最小值
- 支撑超平面判定最优解
2.4.3 二分法求拟凸优化问题
拟凸函数的下水平集是凸集,对应凸函数约束如下
拟凸优化问题中的极小值p*,极小值是通过二分法试出来的。
先设一个
t
0
,
t
1
t_0, t_1
t0,t1如果
t
0
t_0
t0有解,
t
1
t_1
t1无解,则
t
1
<
p
∗
<
t
0
t_1<p*<t_0
t1<p∗<t0,然后不断二分迭代,直到满足精度要求。
3 线性规划问题
进入这一部分,定义并不是非常难, 关 键 在 于 可 视 化 的 理 解 这 些 实 际 优 化 问 题 \color{red}{关键在于可视化的理解这些实际优化问题} 关键在于可视化的理解这些实际优化问题
3.1 定义
通过找到支撑平面,很快就能找到最优解。
3.2 问题转换
3.2.1 标准形式的LP
{
m
i
n
i
m
i
z
e
c
T
x
s
u
b
j
e
c
t
t
o
A
x
=
b
x
≥
0
\left\{ \begin{aligned} &minimize \quad &c^Tx \\ &subject to \quad &Ax=b \\ & \quad & x\geq 0 \end{aligned} \right.
⎩⎪⎨⎪⎧minimizesubjecttocTxAx=bx≥0
转换成标准形式[2]
3.3 典型问题
优化问题如果建模完成了,都有很成熟的工具箱,关键在于将其建模成典型的优化问题。
- 食谱问题
用数学形式描述为:
- 多面体的切比雪夫中心
在下面这个多边形区域中,找到一个半径最大的球。
不等式约束: a ⃗ T x ⃗ ⪯ b ⃗ \vec{a}^T\vec{x} \preceq \vec{b} aTx⪯b
等式约束: { x c ⃗ + u ⃗ ∣ ∣ ∣ u ∣ ∣ 2 < r } \{\vec{x_c}+\vec{u}| ||u||_2<r\} {xc+u∣∣∣u∣∣2<r}
现在的问题在于,变量空间应该是 x c , r x_c,r xc,r这两个变量,所以需要对不定式约束进行改造。
a ⃗ T x ⃗ = a ⃗ T ( x c ⃗ + u ⃗ ) ⪯ a ⃗ T x c ⃗ + r ∣ ∣ a ⃗ ∣ ∣ 2 \begin{aligned} \vec{a}^T\vec{x} &=\vec{a}^T(\vec{x_c}+\vec{u}) \\ &\preceq \vec{a}^T\vec{x_c}+r||\vec{a}||_2 \end{aligned} aTx=aT(xc+u)⪯aTxc+r∣∣a∣∣2
问题就简化成下面这个线性规划问题
- 线性分式规划
如果 f 0 ( x ) 是 f_0(x)是 f0(x)是线性分式函数
令 e T x + f = 1 z , z x = y e^Tx+f=\frac{1}{z}, zx=y eTx+f=z1,zx=y,很容易得到线性规划的形式
4 二次优化问题
4.1 定义
其中,P是正定矩阵
P
∈
S
+
n
P \in S_+^n
P∈S+n,显然
f
0
(
x
)
和
f
i
(
x
)
f_0(x)和f_i(x)
f0(x)和fi(x)都是凸函数。
x
T
P
x
+
q
T
x
+
r
x^TPx+q^Tx+r
xTPx+qTx+r,如果P是正定矩阵,二维二次方程的等高线图像如下:
二次优化问题的解集和方程的关系如下图。
4.2 典型例子
- 最小二乘问题
进行转换
{ m i n i m i z e x T A T A x − 2 b T A x + b T b s u b j e c t − x + l ≤ 0 x − u ≤ 0 \left \{ \begin{aligned} & minimize \quad & x^TA^TAx-2b^TAx+b^Tb \\ & subject \quad & -x+l \leq 0 \\ & \quad & x-u \leq 0 \end{aligned} \right. ⎩⎪⎨⎪⎧minimizesubjectxTATAx−2bTAx+bTb−x+l≤0x−u≤0
5 QCQP(Quadratically Constrained Quadratic Programs)
5.1 定义
标准形式
从二维图像上理解QCQP问题,如下图。
5.2 典型问题
5.2.1 min linear function over a centered ellipsoid
问题描述
{
m
i
n
i
m
i
z
e
c
T
x
s
u
b
j
e
c
t
x
T
A
x
≤
1
,
A
∈
S
+
n
\left \{ \begin{aligned} & minimize \quad &c^Tx \\ & subject \quad & x^TAx \leq 1, A \in S_+^n \end{aligned} \right.
{minimizesubjectcTxxTAx≤1,A∈S+n
对问题进行简化,设
y
=
A
1
2
x
,
c
ˉ
=
A
−
1
2
c
y=A^{\frac{1}{2}}x, \bar{c}=A^{-\frac{1}{2}}c
y=A21x,cˉ=A−21c
{
m
a
x
i
m
u
m
−
c
ˉ
T
y
s
u
b
j
e
c
t
y
T
y
≤
1
\left \{ \begin{aligned} & maximum \quad &-\bar{c}^Ty \\ & subject \quad & y^Ty \leq 1 \end{aligned} \right.
{maximumsubject−cˉTyyTy≤1
根据柯西-施瓦茨公式
−
c
ˉ
T
y
≤
c
ˉ
T
c
ˉ
y
T
y
\begin{aligned} -\bar{c}^Ty &\leq \sqrt{\bar{c}^T\bar{c}} \sqrt{y^Ty} \end{aligned}
−cˉTy≤cˉTcˉyTy
当
y
=
α
c
ˉ
y=\alpha \bar{c}
y=αcˉ,有最大值。根据constraints计算
α
\alpha
α.
y
T
y
=
α
2
c
ˉ
T
c
ˉ
≤
1
y^Ty=\alpha^2\bar{c}^T\bar{c}\leq 1
yTy=α2cˉTcˉ≤1
有
α
=
1
c
ˉ
T
c
\alpha=\frac{1}{\sqrt{\bar{c}^Tc}}
α=cˉTc1,
x
=
A
−
1
2
y
=
−
α
A
−
1
2
A
−
1
2
c
=
−
1
c
T
A
−
1
c
A
−
1
c
\begin{aligned} x &=A^{-\frac{1}{2}}y \\ & =-\alpha A^{-\frac{1}{2}} A^{-\frac{1}{2}}c \\ & = -\frac{1}{\sqrt{c^TA^{-1}c}}A^{-1}c \end{aligned}
x=A−21y=−αA−21A−21c=−cTA−1c1A−1c
5.2.2 min quadratic function over a centered ellipsoid
问题描述:
{
m
i
n
i
m
i
z
e
x
T
B
x
s
u
b
j
e
c
t
x
T
A
x
≤
1
\left \{ \begin{aligned} & minimize \quad & x^TBx \\ & subject \quad & x^TAx \leq 1 \end{aligned} \right.
{minimizesubjectxTBxxTAx≤1
通过设
y
=
A
1
2
x
,
C
=
A
−
1
2
B
A
−
1
2
y=A^{\frac{1}{2}}x, C=A^{-\frac{1}{2}}BA^{-\frac{1}{2}}
y=A21x,C=A−21BA−21,问题转换成
{
m
i
n
i
m
i
z
e
y
T
C
y
s
u
b
j
e
c
t
y
T
y
≤
1
\left \{ \begin{aligned} & minimize \quad & y^TCy \\ & subject \quad & y^Ty\leq1 \end{aligned} \right.
{minimizesubjectyTCyyTy≤1
C是正定矩阵,有
C
v
=
λ
v
Cv=\lambda v
Cv=λv。如果
λ
m
i
n
<
0
\lambda_{min}<0
λmin<0,当
y
=
v
m
i
n
,
得
到
最
小
值
y=v_{min},得到最小值
y=vmin,得到最小值
y
T
C
y
=
−
∣
∣
λ
m
i
n
∣
∣
v
m
i
n
T
v
m
i
n
≤
−
∣
∣
λ
m
i
n
∣
∣
y^TCy=-||\lambda_{min}|| v_{min}^Tv_{min}\leq -||\lambda_{min}||
yTCy=−∣∣λmin∣∣vminTvmin≤−∣∣λmin∣∣
如果
λ
m
i
n
>
0
\lambda_{min}>0
λmin>0,y=0的时候,得到最小值。
6 SOCP(二阶锥规划)
6.1 定义
关注inequalities,进行转换
x
T
A
i
T
A
i
x
+
(
2
b
i
T
A
i
−
c
i
T
)
x
+
b
i
T
b
i
−
d
i
≤
0
x^TA_i^TA_ix+(2b_i^TA_i-c_i^T)x+b_i^Tb_i-d_i \leq 0
xTAiTAix+(2biTAi−ciT)x+biTbi−di≤0
实际上是一个二项式,
A
i
T
A
i
A_i^TA_i
AiTAi是正定矩阵。
6.2 QCQP和SOCP的关联
QCQP的标准形式:
{
m
i
n
i
m
i
z
e
x
T
P
x
+
x
T
q
+
r
s
u
b
j
e
c
t
x
T
P
i
+
x
T
q
i
+
r
i
≤
0
\left \{ \begin{aligned} & minimize \quad & x^TPx+x^Tq+r \\ & subject \quad & x^TP_i+x^Tq_i+r_i \leq 0 \end{aligned} \right.
{minimizesubjectxTPx+xTq+rxTPi+xTqi+ri≤0
设
f
(
x
)
=
x
T
P
x
+
x
T
q
+
r
≤
c
f(x)=x^TPx+x^Tq+r\leq c
f(x)=xTPx+xTq+r≤c,进行转换得到:
{
m
i
n
i
m
i
z
e
c
s
u
b
j
e
c
t
x
T
P
i
1
2
P
i
1
2
x
+
2
x
T
P
i
1
2
b
i
+
b
i
T
b
i
−
b
i
T
b
i
+
r
i
≤
0
x
T
P
1
2
P
1
2
x
+
2
x
T
P
1
2
b
+
b
T
b
−
b
T
b
+
r
≤
c
\left \{ \begin{aligned} & minimize \quad & c \\ & subject \quad & x^TP_i^{\frac{1}{2}}P_i^{\frac{1}{2}}x+2x^TP_i^{\frac{1}{2}}b_i+b_i^Tb_i-b_i^Tb_i+r_i \leq0 \\ & \quad & x^TP^{\frac{1}{2}}P^{\frac{1}{2}}x+2x^TP^{\frac{1}{2}}b+b^Tb-b^Tb+r \leq c \end{aligned} \right.
⎩⎪⎪⎨⎪⎪⎧minimizesubjectcxTPi21Pi21x+2xTPi21bi+biTbi−biTbi+ri≤0xTP21P21x+2xTP21b+bTb−bTb+r≤c
设
A
ˉ
=
[
A
0
]
\bar{A}=[A \quad 0]
Aˉ=[A0],
f
=
[
0
1
]
f=[0 \quad 1]
f=[01],
x
ˉ
=
[
x
c
]
T
\bar{x}=[x \quad c]^T
xˉ=[xc]T,
A
i
ˉ
=
[
A
i
0
]
\bar{A_i}=[A_i \quad 0]
Aiˉ=[Ai0],
A
ˉ
=
[
A
0
]
\bar{A}=[A \quad 0]
Aˉ=[A0]
{
m
i
n
i
m
i
z
e
f
x
ˉ
s
u
b
j
e
c
t
∣
∣
P
i
1
2
x
ˉ
+
b
∣
∣
2
2
≤
b
i
T
b
i
−
r
i
+
c
i
T
x
∣
∣
P
1
2
x
+
b
∣
∣
2
≤
c
+
b
T
b
−
r
≤
d
+
b
T
b
−
r
c
≤
d
\left \{ \begin{aligned} & minimize \quad & f\bar{x} \\ & subject \quad & ||P_i^{\frac{1}{2}}\bar{x}+b||_2^2 \leq \sqrt{b_i^Tb_i-r_i} +c_i^Tx \\ & \quad & ||P^{\frac{1}{2}}x+b||_2 \leq \sqrt{c+b^Tb-r}\leq \sqrt{d+b^Tb-r} \\ & \quad & c \leq d \end{aligned} \right.
⎩⎪⎪⎪⎪⎪⎨⎪⎪⎪⎪⎪⎧minimizesubjectfxˉ∣∣Pi21xˉ+b∣∣22≤biTbi−ri+ciTx∣∣P21x+b∣∣2≤c+bTb−r≤d+bTb−rc≤d
最后是可以凑出SOCP的形式。
6.3 robust linear programming和SOCP的联系
问题的描述
{
m
i
n
i
m
i
z
e
c
T
x
s
u
b
j
e
c
t
a
i
T
x
≤
b
i
,
i
=
1
,
.
.
.
,
m
a
i
∈
ϵ
i
:
{
a
i
+
p
i
u
;
∣
∣
u
∣
∣
≤
1
}
\left \{ \begin{aligned} & minimize \quad & c^Tx \\ & subject \quad & a_i^Tx \leq b_i, i=1,...,m \\ & \quad & a_i \in \epsilon_i : \{a_i +p_iu; ||u|| \leq 1\} \end{aligned} \right.
⎩⎪⎨⎪⎧minimizesubjectcTxaiTx≤bi,i=1,...,mai∈ϵi:{ai+piu;∣∣u∣∣≤1}
robust 的问题,很多时候需要考虑的是极限情况下,是否满足约束。
{
m
i
n
i
m
i
z
e
c
T
x
s
u
b
j
e
c
t
s
u
p
{
a
i
T
x
∣
a
i
∈
ϵ
i
}
≤
b
i
\left \{ \begin{aligned} & minimize \quad & c^Tx \\ & subject \quad & sup \{a_i^Tx|a_i \in \epsilon_i \} \leq b_i \end{aligned} \right.
{minimizesubjectcTxsup{aiTx∣ai∈ϵi}≤bi
单独分析极限情况下的constraints
s
u
p
{
a
i
T
x
∣
a
i
∈
ϵ
i
}
=
s
u
p
{
(
a
i
+
p
i
u
)
T
x
∣
∣
∣
u
∣
∣
≤
1
}
=
s
u
p
{
a
i
T
x
+
u
T
p
i
T
x
∣
∣
∣
u
∣
∣
≤
1
}
=
a
i
T
x
+
s
u
p
{
u
T
p
i
T
x
∣
∣
∣
u
∣
∣
≤
1
}
=
a
i
T
x
+
∣
∣
p
i
T
x
∣
∣
2
≤
b
i
\begin{aligned} sup \{a_i^Tx| a_i \in \epsilon_i \} &= sup \{(a_i+p_iu)^Tx | ||u|| \leq 1 \} \\ &=sup \{ a_i^Tx+u^Tp_i^Tx | ||u||\leq 1 \} \\ &=a_i^Tx+sup \{ u^Tp_i^Tx| ||u||\leq 1 \} \\ & =a_i^Tx+||p_i^Tx||_2 \leq b_i \end{aligned}
sup{aiTx∣ai∈ϵi}=sup{(ai+piu)Tx∣∣∣u∣∣≤1}=sup{aiTx+uTpiTx∣∣∣u∣∣≤1}=aiTx+sup{uTpiTx∣∣∣u∣∣≤1}=aiTx+∣∣piTx∣∣2≤bi
当
u
=
p
i
T
x
∣
∣
p
i
T
x
∣
∣
u=\frac{p_i^Tx}{||p_i^Tx||}
u=∣∣piTx∣∣piTx能获得最大值。此时就可以将robust linear programming 转换成SOCP问题
{
m
i
n
i
m
i
z
e
c
T
x
s
u
b
j
e
c
t
∣
∣
p
i
T
x
∣
∣
2
≤
−
a
i
T
x
+
b
i
\left \{ \begin{aligned} & minimize \quad & c^Tx \\ & subject \quad & ||p_i^Tx||_2 \leq -a_i^Tx+b_i \end{aligned} \right.
{minimizesubjectcTx∣∣piTx∣∣2≤−aiTx+bi
6.4 linear programming with random constraints
这些都属于控制和规划中的常见的情况,从socp的角度理解这些形式。
{
m
i
n
i
m
i
z
e
c
T
x
s
u
b
j
e
c
t
a
i
T
x
≤
b
i
,
i
=
1
,
.
.
.
,
m
a
i
∼
η
(
a
i
ˉ
,
ξ
i
)
\left \{ \begin{aligned} & minimize \quad & c^Tx \\ & subject \quad & a_i^Tx \leq b_i, i=1,...,m \\ & \quad & a_i \sim \eta(\bar{a_i}, \xi_i) \end{aligned} \right.
⎩⎪⎨⎪⎧minimizesubjectcTxaiTx≤bi,i=1,...,mai∼η(aiˉ,ξi)
设定满足constraints的置信度,进行转换
{
m
i
n
i
m
i
z
e
c
T
x
s
u
b
j
e
c
t
P
i
(
a
i
T
x
≤
b
i
)
≥
η
,
i
=
1
,
.
.
.
,
m
\left \{ \begin{aligned} & minimize \quad & c^Tx \\ & subject \quad & P_i(a_i^Tx \leq b_i)\geq \eta, i=1,...,m \end{aligned} \right.
{minimizesubjectcTxPi(aiTx≤bi)≥η,i=1,...,m
从constraints出发,令
u
=
a
i
T
x
u=a_i^Tx
u=aiTx
E
(
u
)
=
E
(
a
i
)
x
=
a
i
ˉ
x
v
a
r
(
u
)
=
E
(
u
)
=
x
T
ξ
x
P
i
(
a
i
T
x
≤
b
i
)
=
ϕ
i
(
z
≤
b
i
−
u
ˉ
σ
u
)
=
∫
−
∞
b
i
−
u
ˉ
σ
u
1
2
π
e
−
x
2
2
d
x
\begin{aligned} E(u) &=E(a_i)x =\bar{a_i}x \\ var(u) & =E(u) =x^T\xi x \\ P_i(a_i^Tx \leq b_i) &=\phi_i(z\leq\frac{b_i-\bar{u}}{\sigma_u}) \\ &= \int_{-\infty}^{\frac{b_i-\bar{u}}{\sigma_u}}\frac{1}{\sqrt{2\pi}}e^{-\frac{x^2}{2}}dx \end{aligned}
E(u)var(u)Pi(aiTx≤bi)=E(ai)x=aiˉx=E(u)=xTξx=ϕi(z≤σubi−uˉ)=∫−∞σubi−uˉ2π1e−2x2dx
根据概率限制,计算u所能取得范围
b
i
−
u
ˉ
σ
u
≥
ϕ
−
1
(
η
)
u
ˉ
+
ϕ
−
1
(
η
)
σ
u
≤
b
i
a
i
T
x
+
∣
∣
ξ
i
1
/
2
x
∣
∣
ϕ
−
1
(
η
)
≤
b
i
\begin{aligned} \frac{b_i-\bar{u}}{\sigma_u} & \geq \phi^{-1}(\eta) \\ \bar{u}+\phi^{-1}(\eta)\sigma_u & \leq b_i \\ a_i^Tx+||\xi_i^{1/2}x||\phi^{-1}(\eta) & \leq b_i \end{aligned}
σubi−uˉuˉ+ϕ−1(η)σuaiTx+∣∣ξi1/2x∣∣ϕ−1(η)≥ϕ−1(η)≤bi≤bi
就将概率形式的不等式约束转换成常规的不等式约束了
{
m
i
n
i
m
i
z
e
c
T
x
s
u
b
j
e
c
t
∣
∣
ξ
i
1
/
2
x
∣
∣
≤
−
a
i
T
x
ϕ
−
1
(
η
)
+
b
i
ϕ
−
1
(
η
)
\left \{ \begin{aligned} & minimize \quad & c^Tx \\ & subject \quad & ||\xi_i^{1/2}x||\leq -\frac{a_i^Tx}{\phi^{-1}(\eta)}+\frac{b_i}{\phi^{-1}(\eta)} \end{aligned} \right.
⎩⎪⎨⎪⎧minimizesubjectcTx∣∣ξi1/2x∣∣≤−ϕ−1(η)aiTx+ϕ−1(η)bi
6.5 sum of norms minimization
形式如下,凸函数的和仍然是凸函数,同时它可以转换成SOCP问题,所以不用担心这个问题是否是凸优化问题。
m
i
n
x
∑
i
=
1
p
∣
∣
A
i
x
+
b
i
∣
∣
2
\mathop{min}\limits_{x} \sum \limits_{i=1}^{p}||A_ix+b_i||_2
xmini=1∑p∣∣Aix+bi∣∣2
使用技巧,设
∣
∣
A
i
x
+
b
i
∣
∣
2
≤
t
i
|| A_ix+b_i ||_2 \leq t_i
∣∣Aix+bi∣∣2≤ti
{
m
i
n
i
m
i
z
e
∑
t
i
s
u
b
j
e
c
t
∣
∣
A
i
x
+
b
i
∣
∣
2
≤
t
i
,
t
=
1
,
.
.
.
,
p
\left \{ \begin{aligned} & minimize \quad & \sum t_i \\ & subject \quad & ||A_ix+b_i||_2 \leq t_i, t=1,...,p \end{aligned} \right.
⎩⎨⎧minimizesubject∑ti∣∣Aix+bi∣∣2≤ti,t=1,...,p
为了凑出SOCP的形式,
设
x
ˉ
=
[
x
1
x
2
.
.
.
x
n
∣
t
1
t
2
.
.
.
t
p
]
\bar{x}=[x_1 \quad x_2 \quad ... \quad x_n| \quad t_1 \quad t_2 \quad ... \quad t_p]
xˉ=[x1x2...xn∣t1t2...tp],
f
=
[
0
0
.
.
.
0
∣
1
1
.
.
.
1
]
f=[0 \quad 0 \quad ... \quad 0| \quad 1 \quad 1 \quad ... \quad 1]
f=[00...0∣11...1]
A
i
ˉ
=
[
A
i
0
]
\bar{A_i}=[A_i \quad 0]
Aiˉ=[Ai0]
c
i
=
[
0
.
.
.
1
.
.
.
0
]
c_i=[0 \quad... \quad 1 \quad ... \quad 0 ]
ci=[0...1...0],第i项为1.
{
m
i
n
i
m
i
z
e
f
T
x
ˉ
s
u
b
j
e
c
t
∣
∣
A
ˉ
i
x
+
b
i
∣
∣
2
≤
c
i
T
x
,
t
=
1
,
.
.
.
,
p
\left \{ \begin{aligned} & minimize \quad & f^T\bar{x}\\ & subject \quad & ||\bar{A}_ix+b_i||_2 \leq c_i^Tx, t=1,...,p \end{aligned} \right.
{minimizesubjectfTxˉ∣∣Aˉix+bi∣∣2≤ciTx,t=1,...,p
6.6 max of norm minimization
凸函数集的最大值从几何上看是,凸函数上境图的交集,所以仍然是凸函数。同时它可以转换成SOCP问题,也就解决了证明是凸函数的困难。
m
i
n
x
m
a
x
i
∣
∣
A
i
x
+
b
i
∣
∣
\mathop{min}\limits_{x} \mathop{max} \limits_{i} ||A_ix+b_i||
xminimax∣∣Aix+bi∣∣
设
m
a
x
i
∣
∣
A
i
x
+
b
i
∣
∣
≤
t
\mathop{max} \limits_{i}|| A_ix+b_i ||\leq t
imax∣∣Aix+bi∣∣≤t
x
ˉ
=
[
x
1
x
2
.
.
.
x
n
t
]
\bar{x}=[x_1 \quad x_2 \quad ... \quad x_n \quad t]
xˉ=[x1x2...xnt]
f
=
[
0
0
.
.
.
0
1
]
f=[0 \quad 0 \quad ... \quad 0 \quad 1]
f=[00...01]
c
i
=
[
0
0
.
.
.
0
1
]
c_i=[0 \quad 0 \quad ... \quad 0 \quad 1]
ci=[00...01]
A
i
ˉ
=
[
A
i
0
]
\bar{A_i}=[A_i \quad 0]
Aiˉ=[Ai0]
转换成标准形式
{
m
i
n
i
m
i
z
e
f
T
x
ˉ
s
u
b
j
e
c
t
∣
∣
A
ˉ
i
x
+
b
i
∣
∣
2
≤
c
i
T
x
,
t
=
1
,
.
.
.
,
p
\left \{ \begin{aligned} & minimize \quad & f^T\bar{x}\\ & subject \quad & ||\bar{A}_ix+b_i||_2 \leq c_i^Tx, t=1,...,p \end{aligned} \right.
{minimizesubjectfTxˉ∣∣Aˉix+bi∣∣2≤ciTx,t=1,...,p
6.7 problem with hyperbolic constraints
这种分式形式的双曲线函数是凸函数,凸函数之和仍然是凸函数。
{
m
i
n
i
m
i
z
e
∑
i
=
1
p
1
a
i
T
x
+
b
i
s
u
b
j
e
c
t
a
i
T
x
+
b
i
≥
0
c
i
T
x
+
d
i
≥
0
\left \{ \begin{aligned} & minimize \quad & \sum \limits_{i=1}^{p} \frac{1}{a_i^Tx+b_i} \\ & subject \quad & a_i^Tx+b_i \geq 0 \\ & \quad & c_i^Tx+d_i \geq 0 \end{aligned} \right.
⎩⎪⎪⎪⎪⎨⎪⎪⎪⎪⎧minimizesubjecti=1∑paiTx+bi1aiTx+bi≥0ciTx+di≥0
采用旧套路,设
1
a
i
T
x
+
b
i
≤
t
i
\frac{1}{a_i^Tx+b_i}\leq t_i
aiTx+bi1≤ti
根据
w
2
≤
x
y
⟹
∣
∣
[
2
w
x
−
y
]
∣
∣
2
≤
x
+
y
w^2\leq xy \Longrightarrow ||[2w \quad x-y] ||_2\leq x+y
w2≤xy⟹∣∣[2wx−y]∣∣2≤x+y
转换成新的形式
{
m
i
n
i
m
i
z
e
∑
t
i
s
u
b
j
e
c
t
∣
∣
[
2
t
i
−
a
i
T
x
−
b
i
]
T
∣
∣
2
≤
a
i
T
x
+
b
i
+
t
i
c
i
T
x
+
d
i
≥
0
\left \{ \begin{aligned} & minimize \quad & \sum t_i\\ & subject \quad & || [2 \quad t_i -a_i^Tx-b_i]^T ||_2\leq a_i^Tx+b_i+t_i \\ & \quad & c_i^Tx+d_i \geq 0 \end{aligned} \right.
⎩⎪⎪⎨⎪⎪⎧minimizesubject∑ti∣∣[2ti−aiTx−bi]T∣∣2≤aiTx+bi+ticiTx+di≥0
和前面的内容类似,设
x
ˉ
=
[
x
1
x
2
.
.
.
x
n
∣
t
1
t
2
.
.
.
t
p
]
\bar{x}=[x_1 \quad x_2 \quad ... \quad x_n | \quad t_1 \quad t_2 \quad ... \quad t_p]
xˉ=[x1x2...xn∣t1t2...tp]
f
=
[
0
0
.
.
.
0
∣
1
1
.
.
.
1
]
f=[0 \quad 0 \quad ... \quad 0 | \quad 1 \quad 1 \quad ... \quad 1]
f=[00...0∣11...1]
A
i
ˉ
=
[
0
0
−
a
i
e
i
]
\bar{A_i}= \begin{bmatrix} 0 & 0 \\ -a_i & e_i \end{bmatrix}
Aiˉ=[0−ai0ei]
b
i
ˉ
=
[
2
−
b
i
]
T
\bar{b_i}=[2 \quad -b_i]^T
biˉ=[2−bi]T
得到最终形式
{
m
i
n
i
m
i
z
e
f
T
x
ˉ
s
u
b
j
e
c
t
∣
∣
A
i
ˉ
x
+
b
i
ˉ
∣
∣
2
≤
a
i
T
x
+
b
i
+
t
i
c
i
T
x
+
d
i
≥
0
\left \{ \begin{aligned} & minimize \quad & f^T\bar{x}\\ & subject \quad & || \bar{A_i}x+\bar{b_i} ||_2\leq a_i^Tx+b_i+t_i \\ & \quad & c_i^Tx+d_i \geq 0 \end{aligned} \right.
⎩⎪⎨⎪⎧minimizesubjectfTxˉ∣∣Aiˉx+biˉ∣∣2≤aiTx+bi+ticiTx+di≥0
类似的问题还有
{
m
i
n
i
m
i
z
e
∑
i
=
1
p
∣
∣
F
i
x
+
g
i
∣
∣
2
2
a
i
T
x
+
b
i
s
u
b
j
e
c
t
a
i
T
x
+
b
i
≥
0
c
i
T
x
+
d
i
≥
0
\left \{ \begin{aligned} & minimize \quad & \sum \limits_{i=1}^{p} \frac{||F_ix+g_i||_2^2}{a_i^Tx+b_i} \\ & subject \quad & a_i^Tx+b_i \geq 0 \\ & \quad & c_i^Tx+d_i \geq 0 \end{aligned} \right.
⎩⎪⎪⎪⎪⎨⎪⎪⎪⎪⎧minimizesubjecti=1∑paiTx+bi∣∣Fix+gi∣∣22aiTx+bi≥0ciTx+di≥0
References
[1] https://zhuanlan.zhihu.com/p/133458743
[2] https://www.youtube.com/watch?v=dAyeNmz6p-c