总结 最小二乘法

作业1：最小均方误差下最佳系数

推导致此处后，可直接借助于durbin算法递推求出系数ai。

作业2：最小二乘法总结

本总结是知乎，csdn的平台的搬运，非原创。
最小二乘法是一种数学优化技术。它通过最小化误差的平方和寻找数据的最佳函数匹配。即通过最小的误差平方和拟合某组数据得到匹配的方法。

梯度下降法

梯度下降法可以看作是 更简单的一种 求最小二乘法最后一步解方程 的方法。相当于最小二乘法的一种解法，由于最小二乘法的最优解是多元函数求极值，计算量很大。梯度下降法则相当于在曲面函数上一节一节下山的算法，下山最快的为梯度方向，每次下降的步长一定，每次选择梯度方向下降，最终达到一个近似最优下山的方法。
梯度下降法本质是一种迭代算法，先给定一个初始值，然后向下降最快的方向调整，在若干次迭代之后找到局部最小。梯度下降法的缺点是到最小点的时候收敛速度变慢，并且对初始点的选择极为敏感。

牛顿法

牛顿法的核心思想利用的是泰勒展开快速求方程近似解。
牛顿法梯度下降一样也是一种迭代优化方法，但是比梯度下降要快很多，因为它是一种使用二阶导数的方法。
步骤：

高斯-牛顿法

高斯牛顿法相较于牛顿法，避免了求解海瑟矩阵，大大降低了运算量。
高斯牛顿法用于解决非线性最小二乘问题，达到数据拟合、参数估计和函数估计的目的。
高斯牛顿的思想是
(1)把 f（x）利用泰勒展开，取一阶线性项近似。

(2)为了求极值，对展开后求导

缺点：

1、JTJ只有半正定性，若JTJ为奇异矩阵，则会导致算法不收敛。

2、步长取太大也可能导致算法不收敛