半小时学习最小二乘法

前言

最小二乘法在统计学的地位不必多言。本文的目的是全面地讲解最小二乘法，打好机器学习的基础。本文主要内容是最小二乘法的思想及在线性回归问题中的应用。后面的系列文章会继续讲解最小二乘的正则化。
至于非线性最小二乘和广义线性模型，如果以后有时间会进行整理。

不熟悉极大似然法的读者可以阅读我的另一篇文章《十分钟学习极大似然估计》

updata 2019/6/13：添加了对线性回归问题的矩阵定义和简要介绍，修改了少量句子，修正了公式中的少量错误。

这里是我的个人网站：
https://endlesslethe.com/easy-to-learn-ols.html
有更多总结分享，最新更新也只会发布在我的个人网站上。排版也可能会更好看一点=v=

核心思想

最小二乘法是勒让德( A. M. Legendre)于1805年在其著作《计算慧星轨道的新方法》中提出的。它的主要思想就是求解未知参数，使得理论值与观测值之差（即误差，或者说残差）的平方和达到最小：
\[E = \mathop \sum \limits_{i = 1}^n e_i^2 = \mathop \sum \limits_{i = 1}^n {\left( { {y_i} - \hat y} \right)^2}\]
观测值\(y_i\)就是我们的多组样本，理论值\(\hat y\)就是我们的假设拟合函数。目标函数也就是在机器学习中常说的损失函数\(E\)，我们的目标是得到使目标函数最小化时候的参数。

所谓最小二乘，其实也可以叫做最小平方和，其目的就是通过最小化误差的平方和，使得拟合对象无限接近目标对象。换句话说，最小二乘法定义了一种函数的拟合标准，其目标是最小化误差的平方和。

直观理解

均方误差有非常好的几何意义，它对应了常用的欧几里德距离。在线性回归中，最小二乘法就是试图找到一条直线，使所有样本到直线的欧氏距离之和最小。

假设有一条直线\(y=ax+b\)，要在这条直线上找到一点，距离\((x_0,y_0)\)这个点的距离最短。如果用绝对值的方法寻找，也就是取\(\min(|y-y_0|+|x-x_0|)\)，由于绝对值最小为0，所以最小的情况就是\(x=x_0\)或者\(y=y_0\)处，如下图1所示。

如果用平方和的方法寻找，就是取\(\min { {(y - {y_0})^2} + {(x - {x_0})^2}}\)，可以看出该式是两点间距离公式，也就是距离的概念。那么最短的距离，就是点到直线的垂线，如下图2所示。