《神经网络设计》读书笔记——性能优化（四）

共轭梯度法

二次终结法

在有限的迭代次数内使二次函数极小化
牛顿法具有二次终结法的性质，但需要计算和存储二阶导数

共轭梯度算法

$\Delta x_k=\alpha_kp_k$
沿直线$x_{k+1}=x_k+\alpha_kp_k$的最小化确定学习速度$a_k$
$p_0=-g_0$
$p_k=-g_k+\beta_kp_{k-1}$
$\beta_k={\Delta g_{k-1}^Tg_k\over\Delta g_{k-1}^Tg_{k-1}}$ or $\beta_k={\Delta g_k^Tg_k\over g_{k-1}^Tg_{k-1}}$ or $\beta_k={\Delta g_k^Tg_k\over g_{k-1}^Tg_{k-1}}$
其中$g_k=\nabla F(x)|_{x=x_k}$且$\nabla g_k=g_{k+1}-g_k$