【机器学习】多元线性回归及其python实现

多元线性回归

前提

• 线性：自变量与因变量的关系是线性的。
• 多元正态分布：误差项应呈正态分布。否则置信区间不稳定。
• 同方差性：误差项的方差应为常数。在有异常值得数据集上，误差项常常是方差不恒定的。
• 自变量之间相互独立：若不相互独立，则模型会具有多重共线性。

虚拟变量

在多元回归模型中当遇到数据集是非数值数据类型时，为其分配虚拟变量。

虚拟变量陷阱

虚拟变量陷阱是指两个以上的变量之间高度相关，即存在一个能够被其他变量预测出的变量。
解决虚拟变量陷阱的方法时，类别变量个数减去1。

Step 1 数据预处理

同【机器学习】数据预处理中所述
有必要时，编辑虚拟变量，避免虚拟变量陷阱。

import numpy as np
import pandas as pd
from sklearn.preprocessing import Imputer, LabelEncoder, OneHotEncoder,StandardScaler
from sklearn.model_selection import train_test_split

dataset = pd.read_csv(r'C:\Users\96251\Desktop\ML_code\files\100-Days-Of-ML-Code-master\datasets\50_Startups.csv')
X = dataset.iloc[ : , :-1].values
Y = dataset.iloc[ : , 4].values

labelencoder_X = LabelEncoder()
X[ : , 3] = labelencoder_X.fit_transform(X[ : , 3])
onehotencoder = OneHotEncoder(categorical_features= [3])
X = onehotencoder.fit_transform(X).toarray()

X = X[: , 1: ]  #避免虚拟虚拟变量陷阱

X_train, X_test, Y_train, Y_test = train_test_split(X, Y, test_size=0.2, random_state=0)

Step 2 训练多元线性回归模型与预测

同【机器学习】简单线性回归模型中所述方法进行训练与预测。

from sklearn.linear_model import LinearRegression
regressor = LinearRegression()
regressor.fit(X_train, Y_train)
y_pred = regressor.predict(X_test)

Step 3 对多元数据进行可视化

这里我们使用seaborn进行可视化。
seaborn的pairplot函数绘制X的每一维度和对应Y的散点图。

import seaborn as sns
sns.pairplot(dataset,x_vars=["Administration", "R&D Spend", "Marketing_Spend"], y_vars="Profit", hue="State", kind='reg')
plt.show()

seaborn.pairplot官方文档

参考链接

100-Days-Of-ML-Code