梯度下降法

梯度下降法是一个最优化算法，通常也称为最速下降法。

描述[编辑]

有关梯度下降法的描述

梯度下降法，基于这样的观察：如果实值函数  在点  处可微且有定义，那么函数 在  点沿着梯度相反的方向  下降最快。

因而，如果

对于  为一个够小数值时成立，那么 。

考虑到这一点，我们可以从函数  的局部极小值的初始估计  出发，并考虑如下序列  使得

因此可得到

如果顺利的话序列  收敛到期望的极值。注意每次迭代步长  可以改变。

右侧的图片示例了这一过程，这里假设  定义在平面上，并且函数图像是一个碗形。蓝色的曲线是等高线(水平集)，即函数  为常数的集合构成的曲线。红色的箭头指向该点梯度的反方向。（一点处的梯度方向与通过该点的等高线垂直）。沿着梯度下降方向，将最终到达碗底，即函数  值最小的点。

例子[编辑]

梯度下降法处理一些复杂的非线性函数会出现问题，例如Rosenbrock函数

其最小值在  处，数值为。但是此函数具有狭窄弯曲的山谷，最小值  就在这些山谷之中，并且谷底很平。优化过程是之字形的向极小值点靠近，速度非常缓慢。

下面这个例子也鲜明的示例了"之字"的下降，这个例子用梯度下降法求  的极小值。

2.泛函的梯度下降流

    为了更好地理解泛函的梯度下降流，首先来看函数的导数。什么是函数的导数？

              函数的导数其实就是函数的增加方向。比如u=x ²+y ²-9的函数，用三维图表达该函数如下图。 u的导数u'=2 x+2 y,指示的是u值的增加方向，这里的 x, y表示向量，亦可写成u'=(2x, 2y)。

 

              类似于函数导数的概念，泛函的一阶变分（即类似于一阶导数）指示的是泛函的增加方向。因此一阶变分的负值就是该泛函的梯度下降流。

              比如一个能量E(u)=∫f(x, u(x), ▽u(x))dx关于u的一阶变分E'(u)的负值，即-E'(u)就是该能量泛函的梯度下降流，也就是说函数集u随着该方向行走，其对应的能量会逐步减少。例如u有其中一个函数u(i)对应能量E(i)，u(i+1)=u(i)+(-E'(u))△t表示-E'(u)的方向走了一个步长△t后沿着所对应的能量E(i+1) du/ dt=[u(i+1)-u(i)]/△t=-E'(u)=- dE(u)/ du，这个就是我们常见图像处理中的 能量泛函下降流 （流的意思就是从一个u(i)→u(i+1)的连续变化方向）。