deercho的博客

FR共轭梯度法实际上是利用梯度和上一次的搜索方向来构造本次搜索方向：dk=-gk+βk-1dk-1即：用上一次的搜索方向修正最速下降法的负梯度方向，不仅避免了锯齿现象，与牛顿法相比也节约了计算量。运用共轭，线性无关的同时，也适应大条件数。共轭梯度法克服了最速下降法收敛慢，只需要利用一阶导数信息，避免了牛顿法存储和计算hesse矩阵的空间对大型线性或非线性方程组都非常有效共轭首先，什么是共轭设 d1,d2 … dm 是Rn 中任意一组非零向量，若di TG di = 0 ( i ≠ j )则

牛顿法的关键就是利用了Hesse的曲率信息，但是Hesse的计算和存储都很困难，那可否用梯度和目标函数这些信息来构造曲率近似呢？实际上就是用Bk代替牛顿法中的Hesse矩阵，Hk替牛顿法中的Hesse逆矩阵牛顿法拟牛顿法迭代公式xk+1= xk - αk(▽2f(xk))-1 ▽f(xk))xk+1 = xk - αkBk-1 . ▽f(xk)dk 搜索方向- (▽2f(xk))-1 ▽f(xk))- Bk-1 . ▽f(xk)所以就是搜索方向用 - Bk-1