1、常用到的最小二乘场合:最小二乘法直线拟合,最小二乘法多项式(曲线)拟合,机器学习中线性回归的最小二乘法,系统辨识中的最小二乘辨识法,参数估计中的最小二乘法,等等。
2、为什么用最小二乘:相比于绝对值的方法,平方和的方法可以得到更短的距离,使得拟合函数更接近于目标函数。从范数的角度考虑这个问题,绝对值对应的是1范数,最小二乘对应的就是2范数。
3、和梯度下降法比较
相同点:都是在已知数据的框架内,使得估算值与实际值的总平方差尽量更小,估算值与实际值的总平方差的公式为:
其中为第i组数据的independent variable,为第i组数据的dependent variable,为系数向量。
不同点:1.实现方法和结果不同:最小二乘法是直接对求导找出全局最小,是非迭代法(但是当的逆无法求得时,方程无解,则最小二乘法不可用)。而梯度下降法是一种迭代法,先给定一个,然后向下降最快的方向调整,在若干次迭代之后找到局部最小。梯度下降法的缺点是到最小点的时候收敛速度变慢,并且对初始点的选择极为敏感,其改进大多是在这两方面下功夫。
参考:
http://blog.csdn.net/lotus___/article/details/20546259
http://blog.sina.com.cn/s/blog_7445c2940102wjz8.html