凸优化学习-（二十七）有约束优化算法——牛顿法、log barrier

凸优化学习

学习笔记

一、有约束凸问题分析

首先，介绍一下$\text{log barrier}$方法：
$$\begin{array}{rlrl}\min & & f_0(x)& \\ \text{s.t.}& & f_i(x)& \le 0i=1\cdots m\\ & & h_i(x)& =0i=1\cdots p\\ \iff \min & & f_0(x)-\sum _{i=1}^m{u}_i\log (-f_i(x))& i=1\cdots m\\ \text{s.t.}& & h_i(x)& =0i=1\cdots p\end{array}$$
这是一个惩罚的思想，见过很多次了。具体来说就是$f_i(x)\to 0$时，$p^{\ast }\to +\infty$，根本无法得到最优解，就好像有一个“栅栏”一样，阻止$f_i(x)$趋近于$0$，让它只能小于$0$。

基于$\text{log barrier}$方法，我们之后所有的约束都只讨论等式约束，不等式约束用$\text{log barrier}$去掉。
即所有的问题都形如：
$$\begin{array}{rlrl}\min & & f_0(x)& \\ \text{s.t.}& & h_i(x)& =0i=1\cdots p\end{array}$$
其$\text{KKT}$条件为：
$$\{\begin{array}{l}{h}_i(x)=0\\ \nabla f_0(x)+\sum _{i=1}^p{v}_i\nabla h_i(x)=0\end{array}$$
这里要分类讨论，即$\text{KKT}$条件是线性方程组或者是非线性方程组两种。
当$\text{KKT}$条件是线性方程组时，按照解线性方程组的方法解就行了，属于比较简单的类别，这里就不赘述了，我们主要研究怎么在$\text{KKT}$条件非线性方程组时算出最优解。

二、牛顿法（$\text{Newton’s Method}$）

在优化过程中的每一步，我们实质上都在优化这么一个问题：
$$\begin{array}{rlrl}\underset{d}{\min }& & f_0(x^k+d)& \\ \text{s.t.}& & h_i(x^k+d)& =0i=1\cdots p\end{array}$$
为了使得到的$\text{KKT}$条件线性，我们对$f_0(x^k+d)$在$x^k$二阶泰勒展开，上述问题可以约等价于：
$$\begin{array}{rlrl}\underset{d}{\min }& & f_0(x^k)+\nabla f^T(x^k)d+\frac{1}{2}{d}^T{\nabla }^{2}f(x^k)d& \\ \text{s.t.}& & h_i(x^k+d)& =0i=1\cdots p\end{array}$$
此时每一步的$\text{KKT}$条件为：
$$\{\begin{array}{l}{h}_i(x^k+d^k)=0\\ \nabla f_0(x^k)+{\nabla }^2{f}^T(x^k)d^k+\sum _{i=1}^p{v}_i^{\ast }\nabla h_i(x^k)=0\end{array}$$
这就是一个线性方程组了，每一步的$d$都能很好的求出来。事实上，当没有$h_i(x^k+d^k)=0$这一项约束时，很显然就得到$d^k=-\nabla f_0(x^k)({\nabla }^2{f}^T(x^k))$，不就是无约束的牛顿法吗？

个人思考

直接解一个非线性方程组往往是比较棘手的问题，牛顿法的思路就是将解一个非线性的$\text{KKT}$条件转换为解许多线性的方程组，具体就是将求解分为很多步，每一步都有一个当前的$\text{KKT}$条件，用一个泰勒展开去构造一个近似问题，而这个近似问题的$\text{KKT}$条件是线性的。这样，通过不断迭代，我们最终能得到最优解。

纸质笔记