数据压缩作业——最小均方误差下的最佳预测系数，最小二乘问题的几种解法

最小均方误差下的最佳预测系数求解

最小二乘问题

用f(x)表示残差，即预测值与观测值的差，F(x)表示损失函数。
求解最小二乘问题即求解未知参数，使预测值和观测值差的平方和最小。(实际上求到的是让F(x)取到极小值时的未知参数）

线性最小二乘求解

非线性最小二乘的几种解法

梯度下降法

梯度下降是迭代法的一种,可以用于求解最小二乘问题(线性和非线性都可以)。其基本思想是如果实值函数 f(x) 在点 x=a 处可微且有定义，那么函数 在点 a 处，沿着梯度的反方向下降的最快。梯度下降法每次都以梯度的反方向下降，所以，有可能会容易走出锯齿路线，从而增加迭代次数。

牛顿迭代法

牛顿迭代法比梯度下降收敛得快，但要求给定的方程需要二阶可导，如果高阶的话，需要算海塞矩阵，数据较大的时候，海塞矩阵的计算量偏大。

高斯牛顿法

高斯一牛顿迭代法是非线性回归模型中求回归参数进行最小二乘的一种迭代方法，该法使用泰勒级数展开式去近似地代替非线性回归模型，然后通过多次迭代，多次修正回归系数，使回归系数不断逼近非线性回归模型的最佳回归系数，最后使原模型的残差平方和达到最小。其基本思想就是先选取一个参数向量的参数值β，若函数ft(Xt，β)在β0附近有连续二阶偏导数，则在β0的邻域内可近似地将ft(Xt，β)看作是线性，因而可近似地用线性最小二乘法求解。
首先将(1)写成 F(x)=½ f(x)² ，其中f(x)=[ f1(x) f2(x) … fm(x) ] T

高斯牛顿法实际上是牛顿法的在求解非线性最小二乘问题时的一个特例。，但高斯牛顿法避免了求海塞矩阵，大大减少了计算量。高斯牛顿法也有缺点，如果求出来的步长太大，会导致其局部近似不精确，严重的时候，可能无法保证迭代收敛。而且容易和梯度下降法一样，陷入锯齿状，导致迭代次数较长。

参考资料：https://zhuanlan.zhihu.com/p/113946848
https://baike.baidu.com/item/最小二乘法/2522346?fr=aladdin
https://www.cnblogs.com/hustyan/p/11239501.html
https://blog.csdn.net/u014709760/article/details/97576395