[机器学习-笔记03] 多元线性回归

1. 多元线性回归原理

• 多元线性回归的函数如下：
  
• 使用多元线性回归时需满足的假设：
  线性、同方差性、多元正态分布、误差独立、无多重共线性
• 虚拟变量：
  可以看下这篇对虚拟变量的直观介绍：什么是虚拟变量？怎么设置才正确？
• 虚拟变量陷阱：
  所谓的“虚拟变量陷阱”就是当一个定性变量含有m个类别时，模型引入m个虚拟变量，造成了虚拟变量之间产生完全多重共线性，无法估计回归参数。
  下图例子中若同时加入New York和California的虚拟变量则会使得D2=1-D1成立，从而造成多重共线性，掉入虚拟变量陷进。
  因此，为避免虚拟变量陷进，应在同一组虚拟变量中剔除一个虚拟变量。
  
• 自变量5种选择方法：
  
  Method1: All-In
  Method2: 反向淘汰
  
  Method3: 顺向选择
  
  Method4: 双向淘汰
  
  Method5: 信息量比较
  
  相对而言，反向淘汰是最常用的。

2. Python案例实现

2.1 数据

2.2 实现

import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
from sklearn.preprocessing import OneHotEncoder
from sklearn.model_selection import train_test_split
from sklearn.linear_model import LinearRegression

# 读入数据集
dataset = pd.read_csv("50_Startups.csv")
X = dataset.iloc[:, :-1].values
y = dataset.iloc[:, -1].values

# 分类数据编码
encoder = OneHotEncoder()
code = encoder.fit_transform(X[:,3].reshape(-1,1)).toarray()
X = np.delete(X, 3, axis=1)
X = np.hstack((X, code[:,:-1]))

# 拆分训练集和测试集
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=0)

# 模型拟合
regressor = LinearRegression()
regressor.fit(X_train, y_train)

# 预测
y_pred = regressor.predict(X_test)

# 评估
MAE = np.mean(np.abs(y_pred-y_test))
print("MAE: ",  MAE)

以上是基础的实现，接下来我们利用反向淘汰法对特征进行选取，从而对模型进行进一步的优化。

import statsmodels.api as sm
# 在进行反向淘汰前，先对X_train加入常数项
X_train = np.hstack((X_train, np.ones((40,1))))
# X_opt为X最优情况
X_opt = np.array(X_train[:, [0, 1, 2, 3, 4, 5]], dtype = float)
# OLS: Ordinary Least Square
regressor_OLS = sm.OLS(endog = y_train, exog = X_opt).fit()
regressor_OLS.summary()

上述代码运行结果：

根据方向淘汰法，我们需要剔除x4。
以此类推，直到对X_train完成优化，并重新建模。