3分钟带你掌握一元线性回归

• 一元线性回归模型：

$$y=h_{\theta }(x)={\theta }_0+{\theta }_{1}x$$

输入只包含一个单独的特征。

• 对于样本$(x^{(i)},y^{(i)})$，模型预测值为：${\hat{y}}^{(i)}={\theta }_0+{\theta }_1{x}^{(i)}$

• 误差/残差：样本真实值与预测值之差

$$e^{(i)}=y^{(i)}-{\hat{y}}^{(i)}=y^{(i)}-{\theta }_0-{\theta }_1{x}^{(i)}$$

• 给定训练集 D = { ( x i , y i ) } D=\{(x_i,y_i)\} D={(xi​,yi​)}，找到一条直线(模型)
  $$y=h_{\theta }(x)={\theta }_0+{\theta }_{1}x$$
  使得所有样本尽可能落在它的附近。

• 损失函数(Loss function)：最小化均方误差,从而寻找最优的参数。
  $$mi{n}_{{\theta }_1,{\theta }_0}L({\theta }_1,{\theta }_0)=mi{n}_{{\theta }_1,{\theta }_0}\sum _{i=1}^m(y^{(i)}-{\theta }_0-{\theta }_1{x}^{(i)}{)}^2$$

• 闭式解

  将目标函数$L({\theta }_1,{\theta }_0)$求偏导：
  $$\begin{gathered} \frac{\partial L}{\partial {\theta }_0}=\sum _{i=1}^{m}2(y^{(i)}-{\theta }_0-{\theta }_1{x}^{(i)})(-1)=0 \\ \frac{\partial L}{\partial {\theta }_1}=\sum _{i=1}^{m}2(y^{(i)}-{\theta }_0-{\theta }_1{x}^{(i)})(-x_i)=0 \end{gathered}$$
  可以解得：

  $$\widehat{{\theta }_1}=\frac{{\sum }_{i=1}^m{x}^{(i)}{y}^{(i)}-m\overline{x}\overline{y}}{{\sum }_{i=1}^m(x^{(i)}{)}^2-m{\overline{x}}^2}$$

  $$\widehat{{\theta }_0}=\overline{y}-{\theta }_1\overline{x}$$

• 代码

import numpy as np
import matplotlib.pyplot as plt
# 以下两行代码解决jupyter notebook显示图片模糊问题
%matplotlib inline
%config InlineBackend.figure_format = 'svg'
# 支持中文
plt.rcParams['font.sans-serif'] = ['SimHei']  # 用来正常显示中文标签
plt.rcParams['axes.unicode_minus'] = False  # 用来正常显示负号
##  测试数据
X = np.arange(0,10,0.1)
Y = 3*X+np.random.random([X.size])*5

def f(x,a):
    X = np.ones((len(x),2))
    X[:,1]=x
    return X.dot((a.T))
a = np.zeros((2))
a[1] = ((X*Y).sum()- X.sum()*Y.sum()/len(X))/((X*X).sum()-X.sum()*X.sum()/len(X))
a[0] = Y.sum()/len(Y)- a[1]*X.sum()/len(X)

Y_Test = f(X,a)
plt.scatter(X,Y,label="原始数据",c='b',alpha=0.5)
plt.plot(X,Y_Test,label="回归线",c='r')
plt.title('一元线性回归')
plt.xlabel("X")
plt.ylabel("Y")
plt.legend()
plt.show()