共轭梯度法原理

一、共轭梯度的提出

对于二次型函数，可表示为f(x) = 1 / 2 * (x -x0)' *A * (x -x0) +c①

当x =x0时，①式有最值，于是，最速方向应该是由x指向x0，也就是(x -x0) ②

而不是梯度∂f(x) /∂x=A * (x - x0)方向，而上一个进入该等值面的最佳方式应该与该等值面方向相关性最小方向，亦即与该点梯度方向垂直，设其为p(k-1)

那么，就有0 = p(k-1) * ∂f(x) /∂x = p(k-1)  * A * (x - x0) = p(k-1)  * A * p(k)<