牛顿法是求解最优化,理论上最好最精确的方法,公式为:
xk+1=xk−f′(xk)f″(xk)
,原理是求解导数为0的情况。如果
xk
是一个高维数据,且函数
f(x)
非常复杂,那么求解
1/f″(x)
就是很麻烦的过程。拟牛顿法的思路是,在牛顿法的基础上,对
1/f″(x)
做个近似估计就行了,不需要精确计算。这样虽然结果会有些差异,但是速度上来了。
拟牛顿法 基于原函数
f(xk+1)
关于
f(xk)
的二阶泰勒展开。设
BFGS算法是一种迭代拟牛顿法,在满足上述必要条件的情况,保证了计算过程中的稳定,具体证明太难了。设 Bk+1=Bk+δB 。数学家用了一个很技巧性很偶然的方法,令 δB=αuuT+βvvT ,则
获得上述式子后,令 sk=xk+1−xk,yk=f′(xk+1)−f′(xk 我们写得
BFGS方法步骤如下:
1、给定初值
x0
,收敛阈值
η
,初始二阶导
B0=I
,
k=0
2、计算得到
dk=f′(xk)/Bk
,一般
Bk
是可以求逆的
3、解
λk=argminf(xk+λdk)
,得到
xk+1=xk−λkdk
4、如果
|f′(xk+1)|<η
,终止运行
5、计算
yk=f′(xk+1−f′(xk)),sk=−λkdk
,代入
Bk+1
求解方程,求取
Bk+1
6、k=k+1,从步骤1开始。