凸优化第四章凸优化问题 4.4 二次优化问题

最新推荐文章于 2024-03-13 23:16:23 发布

使君杭千秋

最新推荐文章于 2024-03-13 23:16:23 发布

阅读量3.7k

点赞数 1

分类专栏：凸优化

本文链接：https://blog.csdn.net/hyl1181/article/details/111304455

版权

凸优化专栏收录该内容

62 篇文章 47 订阅

订阅专栏

4.4 二次优化问题

基本概念
例子
二次锥规划

4.4.1 基本概念

二次优化

当凸优化问题的目标函数是凸二次型并且约束函数为仿射函数时，问题为二次规划：

$\begin{array}{ll} \operatorname{minimize} & (1 / 2) x^{T} P x+q^{T} x+r \\ \text { subject to } & G x \preceq h \\ & A x=b \end{array}$

其中 $P \in \mathbf{S}_{+}^{n}, G \in \mathbf{R}^{m \times n}, A \in \mathbf{R}^{p \times n}$ 。

在二次规划问题中，我们在多面体上极小化一个图二次函数。如下所示：

二次约束二次规划

二次约束二次规划，即目标函数和不等式约束函数均为凸二次型：

$\begin{array}{ll} \text { minimize } & (1 / 2) x^{T} P_{0} x+q_{0}^{T} x+r_{0} \\ \text { subject to } & (1 / 2) x^{T} P_{i} x+q_{i}^{T} x+r_{i} \leqslant 0, \quad i=1, \cdots, m \\ & A x=b \end{array}$

其中 $P_{i} \in \mathbf{S}_{+}^{n}, i=0,1, \cdots, m$ 。

这里记LP 为线性规划，QP为二次规划，QCQP为二次约束二次规划，可知 $LP \subseteq QP \subseteq QCQP$ 。

当QCQP中的 $P_i=0,i=1,2,\cdots, m$ 时，QCQP变为QP。

当QP中的 $P_0=0$ 时，QP变为LP。

4.4.2 例子

最小二乘及回归

$minimize \,\begin{Vmatrix} Ax-b \end{Vmatrix}_2^2$

无约束的情况下，最小二乘问题是一个二次规划。

解析解：是A 的伪逆。

增加线性约束： $l\leq x\leq u$ ，也是一个二次规划问题。

如果约束为： $x_1\leq x_2\leq \cdots \leq x_n$ ，对约束进行整理，整理成： $x_{i+1}-x_i\geq 0,i=1,2\cdots n-1$ ，也是线性约束，也是二次规划问题。

多面体间距离

多面体 $\mathcal{P}_{1}=\left\{x \mid A_{1} x \preceq b_{1}\right\}\ and \ \mathcal{P}_{2}=\left\{x \mid A_{2} x \preceq b_{2}\right\}$ 间的距离定义为：

$\operatorname{dist}\left(\mathcal{P}_{1}, \mathcal{P}_{2}\right)=\inf \left\{\left\|x_{1}-x_{2}\right\|_{2} \mid x_{1} \in \mathcal{P}_{1}, x_{2} \in \mathcal{P}_{2}\right\}$

为了得到两多面体间的距离，我们求解如下问题：

$\begin{array}{ll} \operatorname{minimize} & \left\|x_{1}-x_{2}\right\|_{2}^{2} \\ \text { subject to } & A_{1} x_{1} \preceq b_{1}, \quad A_{2} x_{2} \preceq b_{2} \end{array}$

方差界定

我们再次考虑Chebyshev不等式的例子，其变量是由 $p \in R^n$ 给出的未知概率分布，并且我们对其有一些先验知识。随机变量f(x)的方差由： $\mathbf{E} f^{2}-(\mathbf{E} f)^{2}=\sum_{i=1}^{n} f_{i}^{2} p_{i}-\left(\sum_{i=1}^{n} f_{i} p_{i}\right)^{2}$ 给出，其中 $f_{i}=f\left(u_{i}\right)$ ，这是关于p的凹二次函数。

为了得到最大可能方差，我们求解如下问题：

$\begin{array}{ll} \operatorname{maximize} & \sum_{i=1}^{n} f_{i}^{2} p_{i}-\left(\sum_{i=1}^{n} f_{i} p_{i}\right)^{2} \\ \text { subject to } & p \succeq 0, \quad \mathbf{1}^{T} p=1 \\ & \alpha_{i} \leqslant a_{i}^{T} p \leqslant \beta_{i}, \quad i=1, \cdots, m \end{array}$

关于随机费用的线性规划

考虑线性规划：

$\begin{array}{ll} \operatorname{minimize} & c^{T} x \\ \text { subject to } & G x \preceq h \\ & A x=b \end{array}$

其中，c是随机向量， $\bar{c}$ 是c的均值， $\Sigma$ 是协方差，且 $\mathbf{var}(c^Tx)=E(c^Tx-E(c^Tx))^2=E(c^Tx-\bar{c}^Tx)^2=E(x^T(c^T-\bar{c}^T)^2x)$

根据协方差公式： $cov(X,Y)=E((X-E(X))(Y-E(Y)))\Rightarrow cov(c,c)=E((c-\bar{c})(c-\bar{c})^T)$

$\Rightarrow\mathbf{ var}(c^Tx)=x^T\Sigma x$

一般地，在小的费用期望和小的费用方差之间有一个权衡。考虑方差的一种方法是极小化费用的期望和方差的线性组合，即： $\mathbf{E} c^{T} x+\gamma \operatorname{var}\left(c^{T} x\right)$ ，这个函数称为风险敏感费用。系数 $\gamma\geq 0$ ，称为风险回避参数，它越大，表示越在意费用方差，即越希望费用方差充分小（通过增加期望费用）。

为极小化风险敏感费用，我们可以求解如下问题：

$\begin{array}{ll} \operatorname{minimize} & \bar{c}^{T} x+\gamma x^{T} \Sigma x \\ \text { subject to } & G x \preceq h \\ & A x=b \end{array}$

Markowitz投资组合优化

我们考虑在一时期内持有n种资产或股票的经典的投资组合问题。我们用 $x_i$ 表示在这个时期内持有资产 $i$ 的数量， $x_i$ 以美元为单位，用开始时的价格进行度量。一般地，资产 $i$ 的多头对应于 $x_i>0$ ，资产i的空头(即在期末购买资产的契约)对应于 $x_i<0$ 。我们用 $p_i$ 表示资产在整个时期内的相对价格变动，即其整个时期内的资产变动除以其在开始时的价格。投资总回报为 $r=p^Tx$ (以美元给出)。优化变量为投资组合向量 $x \in R^n$ 。
可以考虑对于投资组合的各种约束。最简单的约束是 $x_i\geq 0$ (即没有空头)和 $1^Tx=B$ (即总投资预算为B，B常取为1)。
我们用随机模型来描述价格变动： $p \in R^n$ 为随机变量，其均值 $p$ 和协方差 $\Sigma$ 已知。所以，对于投资组合 $x \in R^n$ ，其回报 $r$ 是(标量)随机变量，均值为 $\bar{p}^{T} x$ ，方差为 $x^{T} \Sigma x$ 。投资组合 $x$ 的选择需要考虑平均回报和方差之间的权衡。

求解以下问题，即在最小可接受平均回报率 $r_{min}$ 的约束下极小化回报方差：

$\begin{array}{ll} \operatorname{minimize} & x^{T} \Sigma x \\ \text { subject to } & \bar{p}^{T} x \geqslant r_{\min } \\ & \mathbf{1}^{T} x=1, \quad x \succeq 0 \end{array}$

4.4.3 二阶锥规划

二阶锥规划(SOCP)：

$\begin{array}{ll} \operatorname{minimize} & f^{T} x \\ \text { subject to } & \left\|A_{i} x+b_{i}\right\|_{2} \leqslant c_{i}^{T} x+d_{i}, \quad i=1, \cdots, m \\ & F x=g \end{array}$

其中 $x \in R^n$ 为优化变量， $A_{i} \in \mathbf{R}^{n_{i} \times n},F \in \mathbf{R}^{p \times n}$ 。

称 $\begin{Vmatrix} A_ix+b_i \end{Vmatrix}_2\leq c_i^Tx+d_i$ 这种形式的约束为二阶锥约束。因为这等同于要求仿射函数 $(A_ix+b_i, c_i^Tx+d_i)$ 在二阶锥 $R^{(n_i+1)}$ 中。

当 $c_{i}=0, i=1, \cdots, m$ 时，SOCP退化为QCQP。当 $A_{i}=0, i=1, \cdots, m$ 时，SOCP退化为LP问题。

鲁棒线性规划

考虑不等式形式的线性规划问题：

$\begin{array}{ll} \operatorname{minimize} & c^{T} x \\ \text { subject to } & a_{i}^{T} x \leqslant b_{i}, \quad i=1, \cdots, m \end{array}$

其中参数 $a_i,b_i,c$ 含有一些不确定性或变化。

简化起见，假设只有 $a_i$ 有不确定性，其他都是确定的。

已知 $a_i$ 在给定的椭球中： $a_i \in \varepsilon _i=\left \{ \bar{a_i}+P_iu|\begin{Vmatrix} u \end{Vmatrix}_2\leq 1 \right \}$ ，所以问题变成：

$\begin{array}{ll} \operatorname{minimize} & c^{T} x \\ \text { subject to } & a_{i}^{T} x \leqslant b_{i}, \forall a_{i} \in \mathcal{E}_{i}, \quad i=1, \cdots, m \end{array}$

不等式约束又可以表示成： $sup\left \{ a_i^Tx|a_i \in \varepsilon _i \right \}\leq b_i$

$\begin{aligned} \sup \left\{a_{i}^{T} x \mid a_{i} \in \mathcal{E}_{i}\right\} &=\bar{a}_{i}^{T} x+\sup \left\{u^{T} P_{i}^{T} x \mid\|u\|_{2} \leqslant 1\right\} \\ &=\bar{a}_{i}^{T} x+\left\|P_{i}^{T} x\right\|_{2} \end{aligned}$

所以上述约束变为 $\bar{a_i}x+\begin{Vmatrix} P_i^Tx \end{Vmatrix}_2\leq b_i$

问题变成：

$\begin{array}{ll} \operatorname{minimize} & c^{T} x \\ \text { subject to } & \bar{a}_{i}^{T} x+\left\|P_{i}^{T} x\right\|_{2} \leqslant b_{i}, \quad i=1, \cdots, m \end{array}$

随机约束下的线性规划

设参数 $a_i$ 是独立搞死随机变量，均值为 $\bar{a_i}$ ，协方差为 $\Sigma _i$ ，要求每一个约束 $a_i^Tx \leq b_i$ 成立的概率超过 $\eta$ ，且 $\eta \geq 0.5$ ，即 $prob(a_i^Tx \leq b_i)\geq \eta$ 。

令 $u=a_i^Tx$ ，均值 $\bar{a_i}^Tx$ ，方差 $x^T\Phi _ix$ ，因此

$prob(a_i^Tx \leq b_i)=prob(\frac{a_i^Tx-\bar{a_i}^Tx}{\begin{Vmatrix} \Sigma _i^{1/2}x \end{Vmatrix}_2}\leq \frac{b_i-\bar{a_i}^Tx}{\begin{Vmatrix} \Sigma _i^{1/2}x \end{Vmatrix}_2})$

所以

$prob(a_i^Tx\leq b_i)=\Phi (\frac{b_i-\bar{a_i}^Tx}{\begin{Vmatrix} \Sigma _i^{1/2}x \end{Vmatrix}_2})$ ， $\Phi(x)= (\frac{1}{\sqrt{2\pi }})\int_{-\infty }^{x}e^{-t^2/2}dt$

所以： $prob(a_i^Tx \leq b_i)\geq \eta$ 可以写成：

$\frac{b_i-\bar{a_i}^Tx}{\begin{Vmatrix} \Sigma _i^{1/2}x \end{Vmatrix}_2}\geq \Phi ^{-1}(\eta)\Rightarrow \bar{a_i}^Tx+\begin{Vmatrix} \Sigma _i^{1/2}x \end{Vmatrix}_2\Phi ^{-1}(\eta)\leq b_i$

问题：

$\begin{array}{ll} \text { minimize } & c^{T} x \\ \text { subject to } & \text { prob }\left(a_{i}^{T} x \leqslant b_{i}\right) \geqslant \eta, \quad i=1, \cdots, m \end{array}$

变为：

$\begin{array}{ll} \text { minimize } & c^{T} x \\ \text { subject to } & \bar{a}_{i}^{T} x+\Phi^{-1}(\eta)\left\|\Sigma_{i}^{1 / 2} x\right\|_{2} \leqslant b_{i}, \quad i=1, \cdots, m \end{array}$

参考：https://blog.csdn.net/wangchy29/article/details/86608176

使君杭千秋

关注

1
点赞
踩
19

收藏

觉得还不错? 一键收藏
打赏
0
评论
凸优化第四章凸优化问题 4.4 二次优化问题

4.4 二次优化问题例子二次锥规划二次优化当凸优化问题的目标函数是凸二次型并且约束函数为仿射函数时，问题为二次规划二次约束二次规划二次约束二次规划，即目标函数和不等式约束函数均为凸二次型。这里记LP 为线性规划，QP为二次规划，QCQP为二次约束二次规划，可知当QCQP中的时，QCQP变为QP。当QP中的时，QP变为LP。例子最小二乘无约束的情况下，最小二乘问题是一个二次规划。解析解：是A 的伪逆。增加线性约束：，也是一个二次规划问题。如
复制链接

扫一扫