线性回归——二维线性回归方程（证明和代码实现）

前言:
前面一章推导了一下常用的几个距离公式,今天要来说一下机器学习中非常常用的一个算法,线性回归，这篇文章主要讲述的是二维情况下的线性回归问题.写这篇文章的目的有三个:一是利用平台做一次笔记;二是通过自己的理解看能够把这个知识点讲清楚也是判断自己是否掌握了;三是为后面有需要的小伙伴提供一个参考吧.不啰嗦了,开始进入正题:

一、原理讲述

• 这个应该上过高中的小伙伴都听过,也都用过,那是在高中必修3中出现的知识点,考试也是会考的,可能你想不起那个公式了,但你肯定依稀的记得$\hat{a},\hat{b}$这两个东西,还有这个方程 $\hat{y}=\hat{b}x+\hat{a}$,通过这个方程来预测y的值,$\hat{a},\hat{b}$都有它们的计算方式,但是公式有点复杂,老师可能也说过一般试卷上会给,让我们在脑海来重温一下那个知识,这里先给出计算公式:
  $$\begin{gathered} \{\begin{array}{l}\hat{b}=\frac{\sum _{i=1}^n(x_i-\bar{x})(y_i-\bar{y})}{\sum _{i=1}^n(x_i-\bar{x}{)}^2}=\frac{\sum _{i=1}^n{x}_i{y}_i-n\bar{x}\bar{y}}{\sum _{i=1}^n{x}_i^2-n{\bar{x}}^2}\\ \hat{a}=\bar{y}-\hat{b}\bar{x}\end{array} \\ \hat{y}=\hat{b}x+\hat{a} \end{gathered}$$
  公式够复杂,但是看着公式里面需要的参数来说其实也没有什么难度,其中公式中最重要的两个参数就是$\bar{x},\bar{y}$也就分别是x,和y的平均值,计算很简单.我们要学习一个东西既要知其然也要知其所以然,不妨我们从头来推导出这个公式:

• 首先我假设$x,y$为两个具有线性关系的变量,而且我们经有了回归方程模型 $\hat{y}=\hat{b}x+\hat{a}$,而且现在还有一组原始值(就是训练数据):$(x_1,y_1),(x_2,y_2),\cdots ,\cdots ,(x_{n-1},y_{n-1}),(x_n,y_n)$,现在我们要通过我们得到的这个模型来计算出预测值,通过想模型中填入训练数据的所有$x_i$的值, 我们又可以得到一组预测数据:$(x_1,{\hat{y}}_1),(x_2,{\hat{y}}_2),(x_{n-1},{\hat{y}}_{n-1}),(x_n,{\hat{y}}_n)$,现在我们要来计算训练数据与真实数据之间的拟合度,如果我们利用下面这个公式来计算拟合度看看会发生什么:
  $$\lambda =\sum _{i=1}^n(y_i-{\hat{y}}_i)$$
  很明显这样是错误的,因为我们预测值和真实值的波动是上下波动的,也就是说误差值可正可负,那么如果我们只有两组测试数据,$y_1$与${\hat{y}}_1$ 之差为 -5,$y_2$与${\hat{y}}_2$ 之差为 +5,那么通过这个公式一计算你会发现误差为0,也就是说预测值和真实值是完全拟合的,但是通过我们人去看显然波动非常大.所以我们得改进一下公式变为这样:
  $$\lambda =\sum _{i=1}^n(y_i-{\hat{y}}_i{)}^2$$
  这样一来就算是负的误差通过平方后也会变成正的,所以在叠加时也不会出现正负抵消的情况了.
  再推导线性回归方程前我们先来证明一上面求$\hat{b}$为什么可以这样变形,也就是下面两个等式为什么成立(因为这两个等式在推导线性回归方程时会用到):

• 等式一: $\sum _{i=1}^n(x_i-\bar{x})(y_i-\bar{y})=\sum _{i=1}^n{x}_i{y}_i-n\bar{x}\bar{y}$
  证明:
  将等式左边展开
  $=(x_1-\bar{x})(y_1-\bar{y})+(x_2-\bar{x})(y_2-\bar{y})+\cdots +(x_n-\bar{x})(y_n-\bar{y})$

  $=(x_1{y}_1-x_1\bar{y}-\bar{x}{y}_1+\bar{x}\bar{y})+(x_2{y}_2-x_2\bar{y}-\bar{x}{y}_2+\bar{x}\bar{y})+\cdots +(x_n{y}_n-x_n\bar{y}-\bar{x}{y}_n+\bar{x}\bar{y})$
  合并同类项:
  $=(x_1{y}_1+x_2{y}_2+\cdots +x_n{y}_n)-(x_1\bar{y}+x_2\bar{y}+\cdots +x_n\bar{y})-(\bar{x}{y}_1+\bar{x}{y}_2+\cdots +\bar{x}{y}_n)+n\bar{x}\bar{y}$

  $=\sum _{i=1}^n{x}_i{y}_i-n\bar{y}(\frac{x_1+x_2+\cdots +x_n}{n})-n\bar{x}(\frac{y_1+y_2+\cdots +y_n}{n})+n\bar{x}\bar{y}$

  ∵ $\bar{x},\bar{y}$分别代表所有变量x和y的平均值

  ∴原式$=\sum _{i=1}^n{x}_i{y}_i-n\bar{x}\bar{y}-n\bar{x}\bar{y}+n\bar{x}\bar{y}$

  $=\sum _{i=1}^n{x}_i{y}_i-n\bar{x}\bar{y}=$等式右端

  证闭

• 等式二:
  $\sum _{i=1}^n(x_i-\bar{x}{)}^2=\sum _{i=1}^n{x}_i^2-n{\bar{x}}^2$

  证明:
  将等式左边展开
  $=(x_1-\bar{x}{)}^2+(x_2-\bar{x}{)}^2+\cdots +(x_n-\bar{x}{)}^2$

  $=(x_1^2-2x_1\bar{x}+{\bar{x}}^2)+(x_2^2-2x_2\bar{x}+{\bar{x}}^2)+\cdots +(x_n^2-2x_n\bar{x}+{\bar{x}}^2)$
  合并同类项
  $=(x_1^2+x_2^2+\cdots +x_n^2)-2\bar{x}(x_1+x_2+\cdots +x_n)+n{\bar{x}}^2$

  $=\sum _{i=1}^n{x}_i^2-2n\bar{x}(\frac{x_1+x_2+\cdots +x_n}{n})+n{\bar{x}}^2$

  $=\sum _{i=1}^n{x}_i^2-2n{\bar{x}}^2+n{\bar{x}}^2$

  $=\sum _{i=1}^n{x}_i^2-n{\bar{x}}^2=$等式右端

  证闭

• 推导线性回归方程:
  有了前面两个等式现在我们就可以来推导回归方程的来龙去脉了.
  证明:
  ∵ $\lambda =\sum _{i=1}^n(y_i-{\hat{y}}_i{)}^2,\hat{y}=\hat{b}x+\hat{a}$

  ∴$\lambda =\sum _{i=1}^n(y_i-\hat{b}{x}_i-\hat{a}{)}^2$

  展开得:
  $\lambda =(y_1-\hat{b}{x}_1-\hat{a}{)}^2+(y_2-\hat{b}{x}_2-\hat{a}{)}^2+\cdots +(y_n-\hat{b}{x}_n-\hat{a}{)}^2$

  $=[y_1-(\hat{b}{x}_1+\hat{a}){]}^2+[y_2-(\hat{b}{x}_2+\hat{a}){]}^2+\cdots +[y_n-(\hat{b}{x}_n+\hat{a}){]}^2$

  $=[y_1^2-2y_1(\hat{b}{x}_1+\hat{a}))+(\hat{b}{x}_1+\hat{a}){)}^2]+[y_2^2-2y_2(\hat{b}{x}_2+\hat{a}))+(\hat{b}{x}_2+\hat{a}){)}^2]+\cdots +[y_n^2-2y_n(\hat{b}{x}_n+\hat{a}))+(\hat{b}{x}_n+\hat{a}){)}^2]$

  = ( y 1 2 + y 2 2 + ⋯ + y n 2 ) − { [ 2 y 1 ( b ^ x 1 + a ^ ) − ( b ^ x 1 + a ^ ) 2 ] + ⋯ + [ 2 y n ( b ^ x n + a ^ ) − ( b ^ x n + a ^ ) 2 ] } =(y_1^2+y_2^2+\cdots+y_n^2)-\{[2y_1(\hat{b}x_1+\hat{a})-(\hat{b}x_1+\hat{a})^2]+\cdots+[2y_n(\hat{b}x_n+\hat{a})-(\hat{b}x_n+\hat{a})^2]\} =(y12​+y22​+⋯+yn2​)−{[2y1​(b^x1​+a^)−(b^x1​+a^)2]+⋯+[2yn​(b^xn​+a^)−(b^xn​+a^)2]}

  = ∑ i = 1 n y i 2 − { [ 2 y 1 ( b ^ x 1 + a ^ ) − ( b ^ x 1 + a ^ ) 2 ] + ⋯ + [ 2 y n ( b ^ x n + a ^ ) − ( b ^ x n + a ^ ) 2 ] } =\displaystyle \sum_{i=1}^n{y_i^2}-\{[2y_1(\hat{b}x_1+\hat{a})-(\hat{b}x_1+\hat{a})^2]+\cdots+[2y_n(\hat{b}x_n+\hat{a})-(\hat{b}x_n+\hat{a})^2]\} =i=1∑n​yi2​−{[2y1​(b^x1​+a^)−(b^x1​+a^)2]+⋯+[2yn​(b^xn​+a^)−(b^xn​+a^)2]}

  $=\sum _{i=1}^n{y}_i^2-[(2\hat{b}{y}_1{x}_1+2\hat{a}{y}_1-{\hat{b}}^2{x}_1^2-2\hat{a}\hat{b}{x}_1-{\hat{a}}^2)+\cdots +(2\hat{b}{y}_n{x}_n+2\hat{a}{y}_n-{\hat{b}}^2{x}_n^2-2\hat{a}\hat{b}{x}_n-{\hat{a}}^2)]$

  整理并合并同类项:
  $=\sum _{i=1}^n{y}_i^2-2\hat{b}\sum _{i=1}^n{x}_i{y}_i-2\hat{a}\sum _{i=1}^n{y}_i+{\hat{b}}^2\sum _{i=1}^n{x}_i^2+2\hat{a}\hat{b}\sum _{i=1}^n{x}_i+n{\hat{a}}^2$
  整理得:
  $=\sum _{i=1}^n{y}_i^2-2n\hat{a}\left(\frac{\sum _{i=1}^n{y}_i}{n}-\frac{\hat{b}\sum _{i=1}^n{x}_i}{n}\right)-2\hat{b}\sum _{i=1}^n{x}_i{y}_i+{\hat{b}}^2\sum _{i=1}^n{x}_i^2+n{\hat{a}}^2$

  $=\sum _{i=1}^n{y}_i^2-2n\hat{a}\left(\bar{y}-\hat{b}\bar{x}\right)-2\hat{b}\sum _{i=1}^n{x}_i{y}_i+{\hat{b}}^2\sum _{i=1}^n{x}_i^2+n{\hat{a}}^2$
  合并同类项:
  $=n\left[{\hat{a}}^2-2\hat{a}\left(\bar{y}-\hat{b}\bar{x}\right)\right]+\sum _{i=1}^n{y}_i^2-2\hat{b}\sum _{i=1}^n{x}_i{y}_i+{\hat{b}}^2\sum _{i=1}^n{x}_i^2$
  通过完全平方公式,对方括号内的元素进行配方:
  $=n\left[{\hat{a}}^2-2\hat{a}\left(\bar{y}-\hat{b}\bar{x}\right)+{\left(\bar{y}-\hat{b}\bar{x}\right)}^2-{\left(\bar{y}-\hat{b}\bar{x}\right)}^2\right]+\sum _{i=1}^n{y}_i^2-2\hat{b}\sum _{i=1}^n{x}_i{y}_i+{\hat{b}}^2\sum _{i=1}^n{x}_i^2$

  $=n{\left[\hat{a}-\left(\bar{y}-\hat{b}\bar{x}\right)\right]}^2-n{\left(\bar{y}-\hat{b}\bar{x}\right)}^2+\sum _{i=1}^n{y}_i^2-2\hat{b}\sum _{i=1}^n{x}_i{y}_i+{\hat{b}}^2\sum _{i=1}^n{x}_i^2$

  展开第二项:
  $n{\left[\hat{a}-\left(\bar{y}-\hat{b}\bar{x}\right)\right]}^2-n{\bar{y}}^2+2n\hat{b}\bar{x}\bar{y}-n{\hat{b}}^2{\bar{x}}^2+\sum _{i=1}^n{y}_i^2-2\hat{b}\sum _{i=1}^n{x}_i{y}_i+{\hat{b}}^2\sum _{i=1}^n{x}_i^2$

  整理一下:
  $=n{\left[\hat{a}-\left(\bar{y}-\hat{b}\bar{x}\right)\right]}^2+\left(\sum _{i=1}^n{y}_i^2-n{\bar{y}}^2\right)-\left(2\hat{b}\sum _{i=1}^n{x}_i{y}_i-2n\hat{b}\bar{x}\bar{y}\right)+\left({\hat{b}}^2\sum _{i=1}^n{x}_i^2-n{\hat{b}}^2{\bar{x}}^2\right)$
  提取公因子:
  $=n{\left[\hat{a}-\left(\bar{y}-\hat{b}\bar{x}\right)\right]}^2+\left(\sum _{i=1}^n{y}_i^2-n{\bar{y}}^2\right)-2\hat{b}\left(\sum _{i=1}^n{x}_i{y}_i-n\bar{x}\bar{y}\right)+{\hat{b}}^2\left(\sum _{i=1}^n{x}_i^2-n{\bar{x}}^2\right)$
  代入等式一,等式二进行代换:
  $=n{\left[\hat{a}-\left(\bar{y}-\hat{b}\bar{x}\right)\right]}^2+\sum _{i=1}^n{\left(y_i-\bar{y}\right)}^2-2\hat{b}\sum _{i=1}^n(x_i-\bar{x})(y_i-\bar{y})+{\hat{b}}^2\sum _{i=1}^n(x_i-\bar{x}{)}^2$
  合并变换:
  $=n{\left[\hat{a}-\left(\bar{y}-\hat{b}\bar{x}\right)\right]}^2+\sum _{i=1}^n{\left(y_i-\bar{y}\right)}^2+\sum _{i=1}^n(x_i-\bar{x}{)}^2\left[{\hat{b}}^2-\frac{2\hat{b}\sum _{i=1}^n(x_i-\bar{x})(y_i-\bar{y})}{\sum _{i=1}^n(x_i-\bar{x}{)}^2}\right]$
  通过完全平方公式对最后一项配方:
  $=n{\left[\hat{a}-\left(\bar{y}-\hat{b}\bar{x}\right)\right]}^2+\sum _{i=1}^n{\left(y_i-\bar{y}\right)}^2+\sum _{i=1}^n(x_i-\bar{x}{)}^2\left\{{\hat{b}}^2-\frac{2\hat{b}\sum _{i=1}^n(x_i-\bar{x})(y_i-\bar{y})}{\sum _{i=1}^n(x_i-\bar{x}{)}^2}+{\left[\frac{\sum _{i=1}^n(x_i-\bar{x})(y_i-\bar{y})}{\sum _{i=1}^n(x_i-\bar{x}{)}^2}\right]}^2\right\}-\frac{{\left[\sum _{i=1}^n(x_i-\bar{x})(y_i-\bar{y})\right]}^2}{\sum _{i=1}^n(x_i-\bar{x}{)}^2}$
  整理得:
  $\lambda =n{\left[\hat{a}-\left(\bar{y}-\hat{b}\bar{x}\right)\right]}^2+\sum _{i=1}^n(x_i-\bar{x}{)}^2{\left[\hat{b}-\frac{\sum _{i=1}^n(x_i-\bar{x})(y_i-\bar{y})}{\sum _{i=1}^n(x_i-\bar{x}{)}^2}\right]}^2-\frac{{\left[\sum _{i=1}^n(x_i-\bar{x})(y_i-\bar{y})\right]}^2}{\sum _{i=1}^n(x_i-\bar{x}{)}^2}+\sum _{i=1}^n{\left(y_i-\bar{y}\right)}^2$

  因为现在我们是要求$\hat{a},\hat{b}$所以不含有$\hat{a},\hat{b}$的项全部看做常数即可,那么等式可以变形为:
  $\lambda =n{\left[\hat{a}-\left(\bar{y}-\hat{b}\bar{x}\right)\right]}^2+t_1{\left[\hat{b}-\frac{\sum _{i=1}^n(x_i-\bar{x})(y_i-\bar{y})}{\sum _{i=1}^n(x_i-\bar{x}{)}^2}\right]}^2-t_2+t_3$
  因为 $\lambda$ 为误差系数,那么越趋近于0表明拟合程度越好,即我们需要求:
  $$\min (\lambda )$$
  然后根据方程可以知道,前两项都有平方,所以为非负数,所以前两项如果为0,那么 $\lambda$ 的值就能达到最小.所以解方程即可得到:
  $$\{\begin{array}{l}\hat{b}=\frac{\sum _{i=1}^n(x_i-\bar{x})(y_i-\bar{y})}{\sum _{i=1}^n(x_i-\bar{x}{)}^2}=\frac{\sum _{i=1}^n{x}_i{y}_i-n\bar{x}\bar{y}}{\sum _{i=1}^n{x}_i^2-n{\bar{x}}^2}\\ \hat{a}=\bar{y}-\hat{b}\bar{x}\end{array}$$

二、代码实现

• 有了公式再来使用代码实现就很简单了,这里我们先定义一个训练模型的函数,也就是求$\hat{a},\hat{b}$的值:

import matplotlib.pyplot as plt
import numpy as np

def train_model(x_data,y_data):
    x_size = np.size(x_data)
    y_size = np.size(y_data)
    mean_x = np.mean(x_data)
    mean_y = np.mean(y_data)
    # 求b帽
    b = np.sum((x_data-mean_x)*(y_data-mean_y))/np.sum(np.power(x_data - mean_x,2))
    # 求a帽
    a = mean_y - b*mean_x
    return a,b

• 随机生成数据:

# 从1到30 均匀的分成10份
x = np.linspace(1,30,10)
# 定义原数据,也就是真实的y值,为了模拟真实情况,所以加上随机值进行波动
y = x*10 + 5 + np.random.randint(-100,100,10)

• 训练模型并生成训练数据:

a,b = train_model(x,y)
y_ = b*x+a

• 原数据和预测数据一起画在图中:

plt.scatter(x,y,c="r",marker="x",label="train_data")
plt.plot(x,y_,label="predict_data")
plt.legend()

后言:
哇…感觉这篇博客写了好久,主要是Tex语法还不是很熟悉,用起来有时候还需要取查,不过孰能生巧嘛,多用几次就熟练了,下一章将为大家讲述适用范围更广的线性回归方法,也是实际开发中会常用到的,今天的文章就到这里了,如果文章有错误,欢迎小伙伴指出,将不胜感激.错误也是一种成长,加油!