牛顿法

最新推荐文章于 2018-12-05 20:04:41 发布

沉香屑_

最新推荐文章于 2018-12-05 20:04:41 发布

阅读量374

点赞数

分类专栏：算法

本文链接：https://blog.csdn.net/qq_23142123/article/details/80606512

版权

算法专栏收录该内容

6 篇文章 0 订阅

订阅专栏

牛顿法

目标：求解无约束最优化问题中的极小值点 $x^*$

minx∈Rnf(x) m i n x ∈ R n f ( x ) $min_{x\in R^n}f(x)$

假设f(x)具有二阶连续偏导数，且第k次迭代值为 $x^k$ ，则可将f(x)在 $x^k$ 附近进行二阶泰勒展开：

f(x)=f(xk)+∇fT(xk)(x−xk)+12(x−xk)TH(xk)(x−xk) f ( x ) = f ( x k ) + ∇ f T ( x k ) ( x − x k ) + 1 2 ( x − x k ) T H ( x k ) ( x − x k ) $f(x)=f(x^k)+\nabla f^{T}(x^k)(x-x^k)+\frac{1}{2}(x-x^k)^TH(x^k)(x-x^k)$

H(xk) H ( x k ) $H(x^k)$ 为f(x)的海塞矩阵在点

xk x k $x^k$ 的值。

函数f(x)有极值的必要条件是在极值点处的一阶导数为0。由二阶泰勒展开可以得到：

∇f(x)=f(x)−f(xk)x−xk=∇f(xk)+H(xk)(x−xk) ∇ f ( x ) = f ( x ) − f ( x k ) x − x k = ∇ f ( x k ) + H ( x k ) ( x − x k ) $\nabla f(x)=\frac{f(x)-f(x^k)}{x-x^k}=\nabla f(x^k)+H(x^k)(x-x^k)$
若已知

xk x k $x^k$ ，求第k+1次迭代的极值点，则必要条件为:

∇f(xk+1)=∇f(xk)+H(xk)(xk+1−xk)=0 ∇ f ( x k + 1 ) = ∇ f ( x k ) + H ( x k ) ( x k + 1 − x k ) = 0 $\nabla f(x^{k+1})=\nabla f(x^k)+H(x^k)(x^{k+1}-x^k)=0$

xk+1=xk−H−1(xk)∇f(xk) x k + 1 = x k − H − 1 ( x k ) ∇ f ( x k ) $x^{k+1}=x^k-H^{-1}(x^k)\nabla f(x^k)$

得到x的更新公式。

（疑惑点）

到这里就有个疑问，既然 $x^{k+1}$ 使得 $\nabla f(x^k+1)=0$ ，那 $x^{k+1}$ 不就是极值点了吗？为何还需要迭代更新？

由于泰勒公式二阶展开只是一个估算，得出的值只是比初始值更接近的值，所以要经过迭代算法得出更接近的值。

举例说明

1、例子1

用牛顿法，求 $f(x)=x^2极值点（x^*=0），x^0初始化为5$ 。

x更新公式为：

xk+1=xk−2xk2 x k + 1 = x k − 2 x k 2 $x^{k+1}=x^k-\frac{2x^k}{2}$
k=0时，

x1=5−5=0 x 1 = 5 − 5 = 0 $x^1=5-5=0$

x更新一步到位，因为f(x)的二阶泰勒展开就只能展开到二阶梯度，三阶梯度已经为0了，所以此时的泰勒公式二阶展开就是f(x)，而不是估计值。

2、例子2

用牛顿法，求 $f(x)=x^3-x极值点（x^*=\pm\frac{1}{\sqrt 3}\approx\pm0.578），x^0初始化为5$ 。

x更新公式为：

xk+1=xk−3(xk)2−16xk x k + 1 = x k − 3 ( x k ) 2 − 1 6 x k $x^{k+1}=x^k-\frac{3(x^k)^2-1}{6x^k}$
k=0时，

x1=5−7430≈2.54 x 1 = 5 − 74 30 ≈ 2.54 $x^1=5-\frac{74}{30}\approx2.54$
k=1时，

x2≈2.54−18.315.24≈1.34 x 2 ≈ 2.54 − 18.3 15.24 ≈ 1.34 $x^2\approx2.54-\frac{18.3}{15.24}\approx1.34$
k=2时，

x3≈1.34−4.398.04≈0.79 x 3 ≈ 1.34 − 4.39 8.04 ≈ 0.79 $x^3\approx1.34-\frac{4.39}{8.04}\approx0.79$
k=3时，

x3≈0.79−0.874.74≈0.61 x 3 ≈ 0.79 − 0.87 4.74 ≈ 0.61 $x^3\approx0.79-\frac{0.87}{4.74}\approx0.61$
k=4时，

x4≈0.61−0.123.66≈ x 4 ≈ 0.61 − 0.12 3.66 ≈ $x^4\approx0.61-\frac{0.12}{3.66}\approx$ 0.58
k=3时，

x3≈0.58−0.0093.48≈0.578 x 3 ≈ 0.58 − 0.009 3.48 ≈ 0.578 $x^3\approx0.58-\frac{0.009}{3.48}\approx0.578$

可以看到，由于f(x)三阶梯度不为0，所以f(x)的二阶泰勒只是一个估计值，得出的值只是比初始值更接近的值，要经过迭代算法得出更接近的值。

3、例子3

这里对比牛顿法和梯度下降法的更新速度，用梯度下降法计算第一个例子。

用梯度下降法，求 $f(x)=x^2极值点（x^*=0），x^0初始化为5，学习率为0.1$ 。

x更新公式为：

xk+1=xk−0.1∗2xk x k + 1 = x k − 0.1 ∗ 2 x k $x^{k+1}=x^k-0.1*2x^k$

k=0时，

x1=5−1=4 x 1 = 5 − 1 = 4 $x^1=5-1=4$

k=1时，

x2=4−0.8=3.2 x 2 = 4 − 0.8 = 3.2 $x^2=4-0.8=3.2$

k=2时，

x3=3.2−0.64=2.56 x 3 = 3.2 − 0.64 = 2.56 $x^3=3.2-0.64=2.56$

k=3时，

x4=2.56−0.2∗2.56=2.048 x 4 = 2.56 − 0.2 ∗ 2.56 = 2.048 $x^4=2.56-0.2*2.56=2.048$

k=4时，

x5=2.048−0.2∗2.048=1.6384 x 5 = 2.048 − 0.2 ∗ 2.048 = 1.6384 $x^5=2.048-0.2*2.048=1.6384$

….

k=28时，

x29=0.0064 x 29 = 0.0064 $x^{29}=0.0064$

可见，梯度下降的速度远没有牛顿法快，因为牛顿法直接寻找极值点，而梯度下降是按着设定步长，朝着梯度方法下降，步长 $\alpha$ 的设置很影响迭代的次数。

对比两者的公式：

梯度下降

xk+1=xk−α∇f(xk) x k + 1 = x k − α ∇ f ( x k ) $x^{k+1}=x^k-\alpha\nabla f(x^k)$
牛顿法

xk+1=xk−H−1(xk)∇f(xk) x k + 1 = x k − H − 1 ( x k ) ∇ f ( x k ) $x^{k+1}=x^k-H^{-1}(x^k)\nabla f(x^k)$
这可以理解梯度下降法和牛顿法的区别是：牛顿法根据f(x)的二阶导数信息，自动计算出了合适的学习率，因此有更快的迭代速度。而作为交换，牛顿法需要计算庞大的hessian矩阵，矩阵的大小为参数个数 * 参数个数，计算速度慢，消耗资源大。