漫步最优化二十——下降函数

$\textbf{就算言语无法表达，}$
$\textbf{我仍能听见你的声音；}$
$\textbf{就算阳光不再耀眼，}$
$\textbf{我也永远倾心与宝宝。}$
$\textbf{你燃亮了我的双眸，}$
$\textbf{让我懂得如何去爱，}$
$\textbf{你是我的爱，我的情人，我的宝宝。}$
$\qquad\qquad\textbf{——畅宝宝的傻逼哥哥}$

对于任何的下降算法，利用的函数 $D(\textbf{x})$在整个优化过程中连续下降直到收敛，函数 $D(\textbf{x})$可能本身就是目标函数，或者是相关函数，称之为下降函数。形式的定义如下所述：

$\textbf{定义1：}$令$S\subset X$是包含解的集合，假设$A$是X上的算法，X上的连续实值函数$D(\textbf{x})$称为S,A的下降函数，如果该函数满足

• 如果$\textbf{x}_k\neq S$，那么对所有的$\textbf{x}_{k+1}\in A(\textbf{x}_k),D(\textbf{x}_{k+1})<D(\textbf{x})$
• 如果$\textbf{x}_k\neq S$，那么对所有的$\textbf{x}_{k+1}\in A(\textbf{x}_k),D(\textbf{x}_{k+1})\leq D(\textbf{x})$

的话。

$\textbf{例1：}$求出算法

$$x_{k+1}=A(x_k)=\frac{1}{4}x_k$$

的下降函数。

$\textbf{解：}$对任意点$x_0$，生出序列

$$\{x_k\}_{k=0}^\infty=\{x_0,\frac{x_0}{4},\frac{x_0}{4^2},\ldots,0\}$$

因此$D(x_k)=|x_k|$满足第一个条件，解为单点$x_{\infty}=0$，故第二个条件也满足。由此可得$D(x)=|x|$是该算法的一个下降函数。