凸优化简介3

松弛与近似

一般情况下，非线性优化的最简单目标是找到一个可微函数的局部最小。要保证最小化过程的收敛，需要遵循一些特别的原则。
大部分的非线性优化的方法基于松弛的思想，如果序列 { α k } k = 0 ∞ \{\alpha_{k}\}^{\infty}_{k=0} { αk​}k=0∞​中，${\alpha }_{k+1}\le {\alpha }_k,\forall k\ge 0.$则改序列称为一个松弛序列。
因此，对于一个简单的无约束最小化问题 $mi{n}_{x\in {\mathbb{R}}^n}f(x)$，其中函数$f(x)$是一个光滑函数，为了求解，产生一个松弛序列 { f ( x k ) } k = 0 ∞ \{f(x_k)\}^{\infty}_{k=0} { f(xk​)}k=0∞​，其中$f(x_{k+1})\le f(x_k),k=0,1,\dots$。函数$f(x)$在${\mathbb{R}}^n$上是有界单调下降的，因此是收敛的。
在非线性优化中，通常是使用基于该函数的导数来使用局部的一阶和二阶逼近。

1. 一阶近似

首先另函数$f(x)$在$x=\tilde{x}$处是可微的，那么根据泰勒展开公式得到 $f(y)=f(\tilde{x})+⟨▽f(\tilde{x}),y-\tilde{x}⟩+o(\Vert y-\tilde{x}{\Vert }_2)$。其中最后的余项$o(r)$是一个$r\ge 0$的函数，且满足 $li{m}_{r\to 0}(\frac{1}{r}o(r))=0$。公式中的$⟨⟩$符号内部两个项相乘的符号。
对于$n$维空间上的函数，设在点$y_i=\tilde{x}+ϵe_i$，其中$e_i$是在${\mathbb{R}}^n$上的第$i$个坐标向量，取极限$ϵ\to 0$，梯度的表达式为$▽f(x)=(\frac{\partial f(x)}{\partial x^{(1)}},\dots ,\frac{\partial f(x)}{\partial x^{(n)}}{)}^T$。设函数的层集(level set)记为 L f ( α ) = { x ∈ R n ∣ f ( x ) ≤ α } \mathfrak{L}_f(\alpha)=\{x\in \mathbb{R}^n| f(x) \leq \alpha\} Lf​(α)={ x∈Rn∣f(x)≤α}，记在$\tilde{x}$上与层集${\mathfrak{L}}_f(f(\tilde{x}))$相切方向的集合为$S_f$