[详解机器学习篇]详解回归基础方法之最小二乘法曲线拟合

#前言
总结下回归算法中用到最多和最常用的方法:最小二乘法
#最小二乘法
##官方解释

最小二乘法（又称最小平方法）是一种数学优化技术。它通过最小化误差的平方和寻找数据的最佳函数匹配。利用最小二乘法可以简便地求得未知的数据，并使得这些求得的数据与实际数据之间误差的平方和为最小。最小二乘法还可用于曲线拟合。其他一些优化问题也可通过最小化能量或最大化熵用最小二乘法来表达。

通过这段描述可以看出来，最小二乘法也是一种优化方法，求得目标函数的最优值。并且也可以用于曲线拟合，来解决回归问题。难怪《统计学习方法》中提到，回归学习最常用的损失函数是平方损失函数，在此情况下，回归问题可以著名的最小二乘法来解决。看来最小二乘法果然是机器学习领域做有名和有效的算法之一。

这里还要明白两个概念:
#什么是分类?

监督学习中，如果预测的变量是离散的，我们称其为分类（如决策树，支持向量机等）
#什么是回归?
如果预测的变量是连续的，我们称其为回归

最常用的是普通最小二乘法（ Ordinary Least Square，OLS）：所选择的回归模型应该使所有观察值的残差平方和达到最小。（Q为残差平方和