凸优化学习-（二十二）凸优化问题敏感性分析

凸优化学习

这一部分开始为算法打基础了，敏感性分析是指我们去分析当优化问题中的哪些变量改变后会引起优化速度的极大改变。

学习笔记

对于一个凸优化问题：
$$\begin{array}{rlrl}\min & & f_0(x)& \\ \text{(P)}\text{s.t.}& & f_i(x)& \le 0i=1\cdots m\\ & & h_i(x)& =0i=1\cdots p\end{array}$$
设其干扰问题为：
$$\begin{array}{rlrl}\min & & f_0(x)& \\ \text{s.t.}& & f_i(x)& \le u_{i}i=1\cdots m\\ & & h_i(x)& =w_{i}i=1\cdots p\end{array}$$
干扰问题最优值$p^{\ast }(u,w)$是关于$u,w$的函数。
易得性质：
$$\{\begin{array}{l}1.p^{\ast }(0,0)=p^{\ast }\\ 2.p^{\ast }(u,w)是关于(u,w)的凸函数\\ 3.若p^{\ast }=d^{\ast },({\lambda }^{\ast },v^{\ast })为对偶问题最优解，则有p^{\ast }(u,w)\ge p^{\ast }(0,0)-{{\lambda }^{\ast }}^{T}u-{v^{\ast }}^{T}w\end{array}$$

下面给出性质3的推导：

设$\tilde{x}$是干扰问题的最优解,有：
$$\begin{array}{rl}{f}_i(\tilde{x})& \le u_{i}i=1\cdots m\\ h_i(\tilde{x})& =w_{i}i=1\cdots p\\ p^{\ast }(0,0)& =g({\lambda }^{\ast },v^{\ast })\\ & \le f_0(\tilde{x})+\sum _{i=1}^m{\lambda }_i^{\ast }{f}_i(\tilde{x})+\sum _{i=1}^m{v}_i^{\ast }{h}_i(\tilde{x})\\ & \le f_0(\tilde{x})+{\lambda }^{\ast }u+v^{\ast }w\\ & =p^{\ast }(u,w)+{\lambda }^{\ast }u+v^{\ast }w\end{array}$$

得到敏感性结论：

1. 若${\lambda }_i^{\ast }$很大，且加紧第$i$次不等式约束，即$u_i<0$，则目标函数（代价函数）将变得很大，相应的性能会下降很多，故${\lambda }_i^{\ast }$很大时不要加紧不等式约束。
   经济学角度理解：${\lambda }_i^{\ast }$很大即原材料价格很高，大量购买原材料，且不能将产品卖完一定很亏。
2. 若$v_i^{\ast }$很大正值使$w_i<0$或$v_i^{\ast }$绝对值很大负值使$w_i>0$，则最优值很大，相应风险很大。
3. 若${\lambda }_i^{\ast }$很小正值使$u_i>0$，则最优值下降不大，风险很小，此时没必要做出改变，性能不会有多大改变。
4. 若$v_i^{\ast }$很小正值使$u_i>0$或$v_i^{\ast }$绝对值很小负值使$w_i<0$则最优值下降不大，风险很小，此时没必要做出改变，性能不会有多大改变。

个人思考

敏感性分析可以帮助我们调参时预估对性能的影响。

纸质笔记