记录一下高斯牛顿法,首先介绍一下背景,假如是一个误差函数求最小值,那么通常情况下就是求取导数为0时的值,然后取其中最小值,但多变量情况下求导是比较困难的,这时可以通过给定一组x的方法进行估算,也就是给出,假如该值较小并且
也足够小时就可以认定x为最小值。而牛顿法以及高斯牛顿法就是对
的计算。
牛顿法是对目标函数进行二阶泰勒展开,此时该函数为一个变量为的二次函数,可以进行求导计算,然而牛顿法的二阶导数矩阵,也即海塞矩阵计算过慢,所以使用改进的高斯牛顿法,该方法求取的是目标函数误差的平方和,而且泰勒展开时对目标函数的一部分进行求解,然后对
进行求导,最终可以得到如下方程:
然后可以得到公式:
所以高斯牛顿法的增量方程为
也就是说高斯牛顿的过程应当如下图所示