数据压缩作业 | 最小二乘法——梯度下降法、牛顿法、高斯牛顿法原理总结

线性预测器最佳预测系数线性方程的推导：

最小二乘法

通过最小化误差的平方和寻找数据的最佳函数匹配。利用最下二乘法可以简便地求得未知数据，并使得这些求得的数据与实际数据之间误差的平方和为最小。最小二乘法还可用于曲线拟合。其他一些优化问题也可以通过最小化能量或最大化熵用最小二乘法来表达。
线性最小二乘法基本公式：
考虑超定方程组（超定指方程个数大于未知量个数）：

其中m代表有m个等式，n代表有 n 个未知数β，m>n ；将其进行向量化后为：
Xβ=y

显然该方程组一般而言没有解，所以为了选取最合适的β让该等式"尽量成立"，引入残差平方和函数S

（在统计学中，残差平方和函数可以看成n倍的均方误差MSE）
当β=β^ 时，S(β)取最小值，记作：

通过对S(β)进行微分求最值，可以得到：

如果矩阵XX非奇异则β有唯一解：

梯度下降法

梯度下降法是迭代法的一种，可以用于求解最小二乘问题（线性和非线性都可以）。在求解机器学习算法的模型参数，即无约束优化问题时，梯度下降（Gradient Descent）是最常采用的方法之一，另一种常用的方法是最小二乘法。在求解损失函数的最小值时，可以通过梯度下降法来一步步的迭代求解，得到最小化的损失函数和模型参数值。反过来，如果我们需要求解损失函数的最大值，这时就需要用梯度上升法来迭代了。在机器学习中，基于基本的梯度下降法发展了两种梯度下降方法，分别为随机梯度下降法和批量梯度下降法。
求解过程：
梯度下降法的计算过程就是沿梯度下降的方向求解极小值（也可以沿梯度上升方向求解极大值）。
其迭代公式为

其中s(k)代表梯度负方向，ρk表示梯度方向上的搜索步长。梯度方向我们可以通过对函数求导得到，步长的确定比较麻烦，太大了的话可能会发散，太小收敛速度又太慢。一般确定步长的方法是由线性搜索算法来确定，即把下一个点的坐标看做是ak+1的函数，然后求满足f(ak+1)的最小值的ak+1即可。
因为一般情况下，梯度向量为0的话说明是到了一个极值点，此时梯度的幅值也为0.而采用梯度下降算法进行最优化求解时，算法迭代的终止条件是梯度向量的幅值接近0即可，可以设置个非常小的常数阈值。

牛顿法

多数方程不存在求根公式，因此求精确根非常困难，甚至不可能，从而寻找方程的近似根就显得特别重要。方法使用函数f(x)的泰勒级数的前面几项来寻找方程f(x)=0的根。牛顿迭代法是求方程根的重要方法之一，其最大优点是在方程f(x)=0 的单根附近具有平方收敛，而且该法还可以用来求方程的重根、复根，此时线性收敛，但是可通过一些方法变成超线性收敛。
公式：

高斯牛顿法

高斯一牛顿迭代法(Gauss-Newton iteration method)是非线性回归模型中求回归参数进行最小二乘的一种迭代方法，该法使用泰勒级数展开式去近似地代替非线性回归模型，然后通过多次迭代，多次修正回归系数，使回归系数不断逼近非线性回归模型的最佳回归系数，最后使原模型的残差平方和达到最小。其直观思想是先选取一个参数向量的参数值β，若函数ft(Xt，β)在β0附近有连续二阶偏导数，则在β0的邻域内可近似地将ft(Xt，β)看作是线性，因而可近似地用线性最小二乘法求解。
基本思想：
使用泰勒级数展开式去近似地代替非线性回归模型，然后通过多次迭代，多次修正回归系数，使回归系数不断通过通近非线性回归模型的最佳回归系数，最后使原模型的残差平方和达到最小。
步骤：
(1) 初始值的选择。其方法有三种：
一是根据以往的经验选定初始值；
二是用分段法求出初始值；
三是对于可线性化的非线性回归模型，通过线性变换，然后施行最小平方法求出初始值。
(2)泰勒级数展开式。

(3)估计修正因子。

(4)精确度的检验。

(5)重复迭代。

最小二乘法
梯度下降法
牛顿迭代法
高斯牛顿迭代法