【优化理论】 共轭梯度下降算法实现

实验目的

实验步骤

  此次实验要求采用共轭梯度下降来解决二次优化问题，在解决此问题前，首先分析下什么是共轭梯度法，共轭梯度法能解决什么问题。
  我们来看一个线性方程组Ax=b，求解此方程组的过程可以看成是形如公式(1)的优化问题：
$$\arg \underset{x}{\min }\parallel Ax-b{\parallel }^2\dots \dots \dots \dots \dots \dots \dots \dots \dots \dots \dots \dots \dots \dots \dots \dots (1)$$
  其又可转化为公式(2)：
$$\parallel Ax-b{\parallel }^2=(Ax-b{)}^T(Ax-b)=x^T{A}^{T}Ax-2b^{T}Ax+\parallel b{\parallel }^2\dots \dots \dots (2)$$
  令$$H=A^{T}A,g=b^{T}A，H正定，$$
  则上述优化问题等价于公式(3):
$$\mathrm{ar}$$