最小二乘法的证明过程

背景

在统计学中，回归分析（regression analysis）指的是确定两种或两种以上变量间相互依赖的定量关系的一种统计分析方法。在监督学习中，如果预测的变量是离散的，我们称其为分类（如决策树，支持向量机等），如果预测的变量是连续的，我们称其为回归。

回归分析按照涉及的变量的多少，分为一元回归和多元回归分析；按照因变量的多少，可分为简单回归分析和多重回归分析；按照自变量和因变量之间的关系类型，可分为线性回归分析和非线性回归分析。如果在回归分析中，只包括一个自变量和一个因变量，且二者的关系可用一条直线近似表示，这种回归分析称为一元线性回归分析。如果回归分析中包括两个或两个以上的自变量，且自变量之间存在线性相关，则称为多重线性回归分析。对于二维空间线性是一条直线；对于三维空间线性是一个平面，对于多维空间线性是一个超平面。

在简单回归分析中，最小二乘法（ordinary least squares）是线性回归预测问题中是非常常用的一种，其他高级的分析算法都基于此改进而来。它通过最小化误差的平方和寻找数据的最佳函数匹配。利用最小二乘法可以简便地求得未知的数据，并使得这些求得的数据与实际数据之间误差的平方和为最小。最小二乘法还可用于曲线拟合。其他一些优化问题也可通过最小化能量或最大化熵用最小二乘法来表达。最小二乘法十分有用，例如可以用来做推荐系统、资金流动预测等。

本文的写作目的，在于更好地理解计算机视觉中运动估计的高斯混合模型。

历史

1801年，意大利天文学家朱赛普·皮亚齐发现了第一颗小行星谷神星。经过40天的跟踪观测后，由于谷神星运行至太阳背后，使得皮亚齐失去了谷神星的位置。随后全世界的科学家利用皮亚齐的观测数据开始寻找谷神星，但是根据大多数人计算的结果来寻找谷神星都没有结果。时年24岁的高斯也计算了谷神星的轨道。奥地利天文学家海因里希·奥尔伯斯根据高斯计算出来的轨道重新发现了谷神星。

高斯使用的最小二乘法的方法发表于1809年他的著作《天体运动论》中。

法国科学家勒让德于1806年独立发明“最小二乘法”，但因不为世人所知而默默无闻。目前公认勒让德为最小二乘法的最先提出者。

基本思路

残差（residual error）:指实际观察值与估计值（拟合值）之间的差。把每个残差平方之后加起来称为残差平方和，表示随机误差的效应。“残差”蕴含了有关模型基本假设的重要信息。如果回归模型正确的话， 我们可以将残差看作误差的观测值。一组数据的残差平方和越小,其拟合程度越好。

对于一元线性回归模型, 假设从总体中获取了n组观察值$(x_1,y_2,x_2,y_2\cdots x_i,y_i)$。对于平面中的这n个点，可以使用无数条曲线来拟合。要求样本回归函数尽可能好地拟合这组值。综合起来看，这条直线处于样本数据的中心位置最合理。

因此选择最佳拟合曲线的基本思想是：使总的拟合误差（即总残差）达到最小。

在思考中我们发现：
（1）用“残差和最小”确定直线位置是一个途径。但很快发现计算“残差和”存在相互抵消的问题。
（2）用“残差绝对值和最小”确定直线位置也是一个途径。但绝对值的计算比较麻烦。
（3）最小二乘法的原则是以“残差平方和最小”确定直线位置。用最小二乘法除了计算比较方便外，得到的估计量还具有优良特性。这种方法对异常值非常敏感。

普通最小二乘法的证明

证明过程参考Introductory Econometrics A Modern Approach(Fifth Edition): Chapter 2 The Simple Regression Model

在我们研究两个变量$(x,y)$之间的相互关系时，通常可以得到一系列成对的数据$(x_1,y_2,x_2,y_2\cdots x_i,y_i)$；将这些数据描绘在x - y直角坐标系中，若发现这些点在一条直线附近，可以令这条直线方程如下
$$y_i=a{x}_i+b\text{\hspace{1em}(1.1)}$$
这样的拟合存在一定的误差：
$$d_i=y_i-\left(a{x}_i+b\right)\text{\hspace{1em}(1.2)}$$
其中a,b为未确定的参数，而x.y却是已知的数据点，所以最小二乘法就是确定直线拟合中的参数a、b，使残差平方和$D$最小,此时直线拟合度最高

因此令
$$D=\sum _{i=1}^n{d}_i^2={\left(y_i-a{x}_i-b\right)}^2\text{\hspace{1em}(1.3)}$$

对a,b分别求一阶偏导，有

$$\frac{\partial D}{\partial a}=\sum _{i=1}^{n}2\left(y_i-a{x}_i-b\right)\cdot (-x_i)=-2\left(\sum _{i=1}^n{y}_i{x}_i-a\sum _{i=1}^n{x}_i^2-b\sum _{i=1}^n{x}_i\right)\text{\hspace{1em}(1.4)}$$

$$\frac{\partial D}{\partial b}=\sum _{i=1}^{n}2\left(y_i-a{x}_i-b\right)\cdot (-1)=-2\left(\sum _{i=1}^n{y}_i-a\sum _{i=1}^n{x}_i-nb\right)\text{\hspace{1em}(1.5)}$$

令$n\bar{x}=\sum _{i=1}^n{x}_i$，$n\bar{y}=\sum _{i=1}^n{y}_i$

令$\frac{\partial D}{\partial a}=0$，$\frac{\partial D}{\partial b}=0$有

$$n\bar{y}-na\bar{x}-nb=0$$

$$\Rightarrow b=\bar{y}-a\bar{x}\text{\hspace{1em}(1.6)}$$

(1.7) ∑ i = 1 n x i y i − a ∑ i = 1 n x i 2 − b ∑ i = 1 n x i = 0 \sum\limits_{i = 1}^n { {x_i}} {y_i} - a\sum\limits_{i = 1}^n { {x_i^2}} - b\sum\limits_{i = 1}^n {x_i} = 0 \tag{1.7} i=1∑n​xi​y