总结最小二乘法——梯度下降法、牛顿法、高斯牛顿法

**

二：最小二乘法

**

1.定义：

最小二乘法（又称最小平方法）是一种数学优化技术。它通过最小化误差的平方和寻找数据的最佳函数匹配。利用最小二乘法可以简便地求得未知的数据，并使得这些求得的数据与实际数据之间误差的平方和为最小。最小二乘法还可用于曲线拟合。其他一些优化问题也可通过最小化能量或最大化熵用最小二乘法来表达。

2线性最小二乘的基本公式：

3梯度下降法与最小二乘法与牛顿法比较

梯度下降法：
　　1，批量梯度（BGD），随机梯度下降法（SGD），小批量梯度下降法（MBGD）的区别
　　2，和最小二乘比较
　　　　1，梯度下降法需要选择步长，而最小二乘法不需要。
　　　　2，梯度下降法是迭代求解，最小二乘法是计算解析解。
　　　　3，最小二乘仅适用数据量较小的情况下
　　3，和牛顿法比较
　　　　1，梯度下降法是梯度求解，而牛顿法/拟牛顿法是用二阶的海森矩阵的逆矩阵或伪逆矩阵求解。
　　　　2，相对而言，使用牛顿法/拟牛顿法收敛更快。但是每次迭代的时间比梯度下降法长。
最小二乘：
　　1，最小二乘法需要计算XTX的逆矩阵，有可能它的逆矩阵不存在，这样就没有办法直接用最小二乘法了，此时梯度下降法仍然可以使用。当然，我们可以通过对样本数据进行整理，去掉冗余特征。让XTX的行列式不为0，然后继续使用最小二乘法。
　　2,当样本特征n非常的大的时候，计算XTX的逆矩阵是一个非常耗时的工作（n x n的矩阵求逆），甚至不可行。此时以梯度下降为代表的迭代法仍然可以使用。那这个n到底多大就不适合最小二乘法呢？如果你没有很多的分布式大数据计算资源，建议超过10000个特征就用迭代法吧。或者通过主成分分析降低特征的维度后再用最小二乘法。
　　3,如果拟合函数不是线性的，这时无法使用最小二乘法，需要通过一些技巧转化为线性才能使用，此时梯度下降仍然可以用。