[机器学习-回归算法]一元线性回归用最小二乘法的推导过程

在数据的统计分析中，数据之间即变量x与Y之间的相关性研究非常重要，通过在直角坐标系中做散点图的方式我们会发现很多统计数据近似一条直线，它们之间或者正相关或者负相关。虽然这些数据是离散的，不是连续的，我们无法得到一个确定的描述这种相关性的函数方程，但既然在直角坐标系中数据分布接近一条直线，那么我们就可以通过画直线的方式得到一个近似的描述这种关系的直线方程。当然，从前面的描述中不难看出，所有数据都分布在一条直线附近，因此这样的直线可以画出很多条，而我们希望找出其中的一条，能够最好地反映变量之间的关系。换言之，我们要找出一条直线，使这条直线“最贴近”已知的数据点，设此直线方程为：① $\hat{y}=a+bx$

这里的$\hat{y}$是为了区分Y的实际值y（这里的实际值就是统计数据的真实值，我们称之为观察值），当x取值$x_i$(i=1，2，3……n)时，Y的观察值为$y_i$，近似值为$\hat{y}$（或者说对应的纵坐标是$\hat{y}=a+bx$）。

其中①式叫做Y对x的回归直线方程，b叫做回归系数。要想确定回归直线方程①，我们只需确定a与回归系数b即可。

设x，Y的一组观察值为：$(x_i,y_i)$ i = 1，2，3……n
其回归直线方程为：$\hat{y}=a+bx$

当x取值(i=1，2，3……n)时，Y的观察值为，差刻画了实际观察值与回归直线上相应点纵坐标之间的偏离程度，见下图：

实际上我们希望这n个离差构成的总离差越小越好，只有如此才能使直线最贴近已知点。换句话说，我们求回归直线方程的过程其实就是求离差最小值的过程。

一个很自然的想法是把各个离差加起来作为总离差。可是，由于离差有正有负，直接相加会互相抵消，如此就无法反映这些数据的贴近程度，即这个总离差不能用n个离差之和来表示，见下图：
$$\sum _{i=1}^n(y_i-\widehat{y_i})$$
一般做法是我们用离差的平方和，即：
$$Q=\sum _{i=1}^n(y_i-\widehat{y_i}{)}^2=\sum _{i=1}^n(y_i-a-b{x}_i{)}^2$$

作为总离差 ，并使之达到最小。这样回归直线就是所有直线中Q取最小值的那一条。由于平方又叫二乘方，所以这种使“离差平方和为最小”的方法，叫做最小二乘法。

求偏导
$$\begin{array}{rl}Q& =\sum _{i=1}^n(y_i-\widehat{y_i}{)}^2=\sum _{i=1}^n(y_i-a-b{x}_i{)}^2\\ \frac{\partial Q}{\partial a}& =2\sum _{i=1}^n[y_i-(a+b{x}_i)]\ast (-1)=2\sum _{i=1}^n[a+b{x}_i-y_i]=0\\ \frac{\partial Q}{\partial b}& =2\sum _{i=1}^n[y_i-(a+b{x}_i)]\ast (-x_i)=2\sum _{i=1}^n{x}_i[a+b{x}_i-y_i]=0\end{array}$$
由第一个偏导式化简的到

$$\begin{array}{rl}& \sum _{i=1}^n[a+b{x}_i-y_i]=0\\ & \frac{{\sum }_{i=1}^n(a+b{x}_i-y_i)}{n}=0\\ & a+b\overline{x}-\overline{y}=0\\ & a=\overline{y}-b\overline{x}\end{array}$$

有第二个偏导式化简的到

$$\begin{array}{rl}& \sum _{i=1}^n{x}_i(a+b{x}_i-y_i)=0\\ & \sum _{i=1}^n{x}_i(\overline{y}-b\overline{x}+b{x}_i-y_i)=0\\ & \sum _{i=1}^n(x_i\overline{y}-b(x_i\overline{x}+x_i^2)-x_i{y}_i)=0\\ & \sum _{i=1}^n(x_i\overline{y}-x_i{y}_i)=\sum _{i=1}^{n}b(x_i\overline{x}-x_i^2)\\ & b\sum _{i=1}^n(x_i\overline{x}-x_i^2)=\sum _{i=1}^n(x_i\overline{y}-x_i{y}_i)\\ & b=\frac{{\sum }_{i=1}^n(x_i\overline{y}-x_i{y}_i)}{{\sum }_{i=1}^n(x_i\overline{x}-x_i^2)}\\ & b=\frac{{\sum }_{i=1}^n(x_i{y}_i-x_i\overline{y})}{{\sum }_{i=1}^n(x_i^2-x_i\overline{x})}\\ & b=\frac{{\sum }_{i=1}^n{x}_i{y}_i-\overline{y}{\sum }_{i=1}^n{x}_i}{{\sum }_{i=1}^n{x}_i^2-\overline{x}{\sum }_{i=1}^n{x}_i}\\ & b=\frac{{\sum }_{i=1}^n{x}_i{y}_i-n\overline{x}\overline{y}}{{\sum }_{i=1}^n{x}_i^2-n{\overline{x}}^2}\end{array}$$

由以上两个偏导式化简可得：

$$(3)\{\begin{array}{l}b=\frac{{\sum }_{i=1}^n{x}_i{y}_i-n\overline{x}\overline{y}}{{\sum }_{i=1}^n{x}_i^2-n{\overline{x}}^2}\\ a=\overline{y}-\hat{b}\overline{x}\end{array}$$

其中$\overline{x},\overline{y}$为$x_i$和$y_i$的均值，

我们先给出推导过程中用到的两个关键变形公式的推导过程。首先是第一个公式：

接着是第二个公式：

把上面这两个公式（1）（2）代入下面的公式（3）式得：

$$\{\begin{array}{l}b=\frac{{\sum }_{i=1}^n{x}_i{y}_i-n\overline{x}\overline{y}}{{\sum }_{i=1}^n{x}_i^2-n{\overline{x}}^2}=\frac{{\sum }_{i=1}^n(x_i-\overline{x})(y_i-\overline{y})}{{\sum }_{i=1}^n(x_i-\overline{x}{)}^2}=\frac{S_{xy}}{S_{xx}}\\ a=\overline{y}-\hat{b}\overline{x}\end{array}$$

其中$\overline{x},\overline{y}$为$x_i$和$y_i$的均值， $S_{xy}={\sum }_{i=1}^n(x_i-\overline{x})(y_i-\overline{y})$， $S_{xx}={\sum }_{i=1}^n(x_i-\overline{x}{)}^2$ 。

a、b的上方加“︿”表示是由观察值按最小二乘法求得的估计值，a、b求出后，回归直线方程也就建立起来了。

参考资料
【1】https://blog.csdn.net/R18830287035/article/details/88384396
【2】 https://blog.csdn.net/marsjohn/article/details/54911788
【3】https://www.cnblogs.com/KID-yln/p/12840184.html