牛顿法与拟牛顿法，SDM方法的一些注记

SDM方法

考虑一般额NLS问题：

$$f(x)=min_x||h(x)-y||^2$$
这里x为优化参数，h为非线性函数，y是已知变量，如下是基于梯度的迭代公式：
$$\Delta x=\alpha AJ_h^T(h(x)-y)$$
这里 $\alpha$是步长，A是缩放因子， $J_h$是h在当前参数x下的Jacobian值。

各种优化方法不同，取决于A的选择，具体为：

• $A=H^{-1}$表示：牛顿法
• $A=(J^TJ)^{-1}$表示：高斯牛顿法
• $A=I$表示：梯度下降法

但对于不可导的函数，J和H都是很难求的。
SDM的主要观点是用一个学习矩阵R去替代$\alpha AJ_h^T$,称R为通用的下降方向(Generic Descent Map(DM))。

SDM是一种迭代算法，用来学习一系列的DM.如下动画展示了SDM方法是如何从当前最优路径（虚线标注）中学习DM的。
http://xiong828.github.io/pics/sdm-animation-all.gif

牛顿法与拟牛顿法

本章可以参考文献《牛顿法与拟牛顿法学习笔记》