凸优化算法之牛顿法

原理

对于求方程解问题， 假设有函数 f  :R->R ，我们希望找到满足 f( θ)=0  的 θ 值. 这里 θ 是实数. 

牛顿方法执行下面的更新

 

求解过程如图所示

简单的来说 就是通过求当前点的导数得到下一个点.用到的性质是导数值等于该点切线和横轴夹角的正切值

利用凸函数的性质，最值所在点 l'（θ ）=0   令f( θ)=l'(θ)

牛顿方法的一般化： 
如果θ是一个向量，那么： 

 

H称为 海森 矩阵(Hessian matrix) ,是一个n*n的矩阵，n是特征量的个数，并且

牛顿方法的收敛速度比批处理梯度下降快很多，很少次的迭代就能够非常接近最小值了；但是当n很大时，每次迭代求海森矩阵和逆代价是很大的。

牛顿法是二阶收敛，梯度下降法是一阶收敛的，所以牛顿法看得更远，收敛更快。牛顿法的路径更符合最优路径。对于二阶凸函数能够一步到达。

实际中常常先用梯度下降法，在离得比较近时使用牛顿法；由于牛顿法需要每次更新海森矩阵，所以使用拟牛顿法。

---

举例

求解问题   f(x ₁,x ₂) = -x ₁ ⁴ - 2x ₂ ⁴ + 2x ₁x ₂ + 2x ₂ + 6

▽ _x1f =-4x ₁ ³+2x ₂

▽ _x2f = 2x ₁-8x ₂ ³+2

Hessian = [ -12x ₁ ², 2; 2, -24x ₂ ²]

迭代次数计数

          {

[x₁ ; x₂ ] =  [x ₁  ; x ₂  ] - Hessian   点乘  [ ▽ _x1 f   ;  ▽ _x2 f  ]

}

1. # -*- coding: utf-8 -*-
2. """
3. Created on Wed Apr 12 23:56:25 2017
5. @author: LoveDMR
7. 牛顿方法
8. """
10. import numpy as np
11. import matplotlib.pyplot as plt
12. delta = 0.25
13. x1 = np.arange( -10 , 10 , delta )
14. x2 = np.arange( -10 , 10 , delta )
15. X1 , X2 = np.meshgrid( x1 , x2 )
17. Y = 2*X1*X2+2*X2-X1**4-2*X2**4 + 6
18. plt.figure()
19. bg_fig = plt.contour(X1,X2,Y)
21. theta = np.array([8,8])
22. a , b = [] , []
24. a.append(theta[0])
25. b.append(theta[1])
27. H = np.array([[2,3],[3,10]])
28. Hi = np.linalg.inv(H)
29. for i in xrange(1,50):
30. t = np.array([theta[0]**3*(-4)+2*theta[1]**2 , (-8)*theta[1]**3+2*theta[0]+2])
31. H = np.array([[(-12)*theta[0]**3,2],[2,(-24)*theta[1]**2]])
32. Hi = np.linalg.inv(H)
33. theta = theta - np.dot( Hi ,t )
34. a.append(theta[0])
35. b.append(theta[1])
37. plt.plot(a , b)
38. plt.title( "Newton's method" )
39. plt.xlabel('x1')
40. plt.ylabel('x2')
41. plt.show()

转载于:https://www.cnblogs.com/flyfatty/p/6702906.html