ML(2)- LinearRegression线性回归(正规方程)

---

线性回归基本概念

• 什么是线性？
  变量之间关系是一次函数，图像为一条直线。
• 什么是回归？
  将变量之间的关系归结于一个值(直线)。
• 线性回归预测，通过样本特征的线性组合来进行预测的函数，即用多个变量X来预测Y。
• 特征之间是线性相关的。
• 基本形式：
  $f(x)={\theta }_1{x}_1+{\theta }_2{x}_2+{\theta }_3{x}_3+...{\theta }_n{x}_n+{\theta }_0$

单变量线性回归

• 每一个样本只有1个特征。

• 假设我们找到了最佳拟合的直线方程：$y=wx+b$。

• 对于每一个样本点 $x_i$ , 直线方程预测值为：$y_i=w{x}_i+b$ , 此样本真值为 $\widehat{y_i}$，我们希望 $y_i$与$\widehat{y_i}$的差距越小越好，怎么计算差距？ 均方误差：$(\widehat{y_i}-y_i{)}^2$.

• 对于训练样本集，考虑所有样本：${\sum }_{i=1}^m(\widehat{y_i}-y_i{)}^2$, 通常还会再乘上一个$\frac{1}{m}$。

• 目标：找到最佳的$w$和$b$ ,使 ${\sum }_{i=1}^m(\widehat{y_i}-w{x}_i-b{)}^2$ 尽可能的小。此方程又称为损失函数$J(w,b)$。
  

• 正规方程

1. 正规方程解：
   $w=\frac{{\sum }_{i=1}^m(x_i-\tilde{x})({\hat{y}}_i-\tilde{y})}{{\sum }_{i=1}^m(x_i-\tilde{x}{)}^2}$ , $b=\tilde{y}-w\tilde{x}$ （${\hat{y}}_i样本i的真值，\tilde{y}\tilde{x}为均值$）
   
   
2. 推导过程：

• $J(w,b)={\sum }_{i=1}^m(\widehat{y_i}-w{x}_i-b{)}^2$ ---->对于此二次函数，分别对$w$和$b$求偏导等于0即为$J(w,b)$的最小值。

• $\frac{\partial J(w,b)}{\partial b}={\sum }_{i=1}^{m}2(\widehat{y_i}-w{x}_i-b)(-1)={\sum }_{i=1}^m{y}_i-w{\sum }_{i=1}^m{x}_i-{\sum }_{i=1}^{m}b={\sum }_{i=1}^m{y}_i-w{\sum }_{i=1}^m{x}_i-mb=0$

----> ${\sum }_{i=1}^m{y}_i-w{\sum }_{i=1}^m{x}_i=mb$

---->$\tilde{y}-w\tilde{x}=b$

• $\frac{\partial J(w,b)}{\partial w}={\sum }_{i=1}^{m}2(\widehat{y_i}-w{x}_i-b)(-x_i)={\sum }_{i=1}^m(\widehat{y_i}-w{x}_i-b)x_i=0$

---->将上面求的b带入方程：${\sum }_{i=1}^m(\widehat{y_i}-w{x}_i-\tilde{y}+w\tilde{x})x_i={\sum }_{i=1}^m(x_i\widehat{y_i}-x_i\tilde{y})-w{\sum }_{i=1}^m(x_i{)}^2-x_i\tilde{x})=0$

---->$w=\frac{{\sum }_{i=1}^m(x_i\widehat{y_i}-x_i\tilde{y})}{{\sum }_{i=1}^m(x_i{)}^2-x_i\tilde{x})}$ , 又 ${\sum }_{i=1}^m{x}_i\tilde{y}=m\tilde{y}\tilde{x}={\sum }_{i=1}^m{y}_i\tilde{x}={\sum }_{i=1}^m\tilde{x}\tilde{y}$ , 同理${\sum }_{i=1}^m{x}_i\tilde{x}$ 也有同样性质。

---->$w=\frac{{\sum }_{i=1}^m(x_i\widehat{y_i}-x_i\tilde{y}-{\hat{y}}_i\tilde{x}+\tilde{x}\tilde{y})}{{\sum }_{i=1}^m(x_i{)}^2-x_i\tilde{x}-x_i\tilde{x}+(\tilde{x}{)}^2)}=\frac{{\sum }_{i=1}^m(x_i-\tilde{x})({\hat{y}}_i-\tilde{y})}{{\sum }_{i=1}^m(x_i-\tilde{x}{)}^2}$

多变量线性回归

• 每一个样本只有n个特征。
• 同样，找到最佳拟合的直线方程：$y={\theta }_0+{\theta }_1{x}_1+{\theta }_2{x}_2+.....+{\theta }_n{x}_n$。
• 同样，对于训练样本集，找到最佳的${\theta }_0,{\theta }_1,{\theta }_2,...,{\theta }_n$ , 使得${\sum }_{i=1}^m(\widehat{y_i}-y_i{)}^2$ 尽可能的小。

• 正规方程

1. 对于m个样本，每个样本特征数为n的训练集，方程式：

2.最终解：

$\theta =(X_b^T\cdot X_b{)}^{-1}\cdot X_b^T\cdot \hat{y}$

Scikit-learn中的线性回归

• 正规方程线性回归(普通最小二乘线性回归)。
• API：sklearn.linear_model.LinearRegression

import numpy as np
from sklearn import datasets
from sklearn.model_selection import train_test_split
from sklearn.preprocessing import StandardScaler
from sklearn.linear_model import LinearRegression

# 获取波士顿房价数据,490个样本，每个样本13个特征
boston = datasets.load_boston()
X = boston.data
Y = boston.target

# 分割训练测试数据集
X_train, X_test, y_train, y_test = train_test_split(X, Y,test_size = 0.2,random_state =666)

# 均值方差归一化
scaler = StandardScaler()
scaler.fit(X_train)
X_train_standard = standardScaler.transform(X_train)
X_test_standard = standardScaler.transform(X_test)

# 线性回归模型(正规方程)
lin_reg = LinearRegression()
lin_reg.fit(X_train, y_train)
# 参数w
lin_reg.coef_
# 截距b
lin_reg.intercept_
# 预测及准确率
lin_reg.predict(X_test)
lin_reg.score(X_test,y_test)

手写线性回归底层

import numpy as np
from sklearn.metrics import  mean_squared_error

class LinearRegression:
    def __int__(self):
		# 系数
        self.coef_ = None	
        # 截距
        self.interception_ = None	
        # θ 即系数+截距
        self._theta = None	

def fit(self,x_train,y_train):
    assert x_train.shape[0] == y_train.shape[0],"the size of x must equal y"
    # np.ones(shape)
    X_b = np.hstack([np.ones((len(x_train),1)),x_train])
    # np.linalg.inv()矩阵求逆
    self._theta =  np.linalg.inv(X_b.T.dot(X_b)).dot(X_b.T).dot(y_train)
    self.coef_ = self._theta[1:]
    self.interception_ = self._theta[0]
    
def predict(self,x_test):
    assert self.interception_ is not None and self.coef_ is not None,"must fit before predict"
    assert x_test.shape[1] == len(self.coef_),"the feature number of x_test must be equal to x_ train"
    
    X_b = np.hstack([np.ones((len(x_test),1)),x_test])
    return X_b.dot(self._theta)

# 准确率(R Squared评估)
def score(self,x_test,y_test):
    y_predict = self.predict(x_test)
    return 1-mean_squared_error(y_test, y_predict)/ np.var(y_test)

def __repr__(self)
    return  "Linear Regression"