多元线性回归
前提
- 线性:自变量与因变量的关系是线性的。
- 多元正态分布:误差项应呈正态分布。否则置信区间不稳定。
- 同方差性:误差项的方差应为常数。在有异常值得数据集上,误差项常常是方差不恒定的。
- 自变量之间相互独立:若不相互独立,则模型会具有多重共线性。
虚拟变量
在多元回归模型中当遇到数据集是非数值数据类型时,为其分配虚拟变量。
虚拟变量陷阱
虚拟变量陷阱是指两个以上的变量之间高度相关,即存在一个能够被其他变量预测出的变量。
解决虚拟变量陷阱的方法时,类别变量个数减去1。
Step 1 数据预处理
同【机器学习】数据预处理中所述
有必要时,编辑虚拟变量,避免虚拟变量陷阱。
import numpy as np
import pandas as pd
from sklearn.preprocessing import Imputer, LabelEncoder, OneHotEncoder,StandardScaler
from sklearn.model_selection import train_test_split
dataset = pd.read_csv(r'C:\Users\96251\Desktop\ML_code\files\100-Days-Of-ML-Code-master\datasets\50_Startups.csv')
X = dataset.iloc[ : , :-1].values
Y = dataset.iloc[ : , 4].values
labelencoder_X = LabelEncoder()
X[ : , 3] = labelencoder_X.fit_transform(X[ : , 3])
onehotencoder = OneHotEncoder(categorical_features= [3])
X = onehotencoder.fit_transform(X).toarray()
X = X[: , 1: ] #避免虚拟虚拟变量陷阱
X_train, X_test, Y_train, Y_test = train_test_split(X, Y, test_size=0.2, random_state=0)
Step 2 训练多元线性回归模型与预测
同【机器学习】简单线性回归模型中所述方法进行训练与预测。
from sklearn.linear_model import LinearRegression
regressor = LinearRegression()
regressor.fit(X_train, Y_train)
y_pred = regressor.predict(X_test)
Step 3 对多元数据进行可视化
这里我们使用seaborn进行可视化。
seaborn的pairplot函数绘制X的每一维度和对应Y的散点图。
import seaborn as sns
sns.pairplot(dataset,x_vars=["Administration", "R&D Spend", "Marketing_Spend"], y_vars="Profit", hue="State", kind='reg')
plt.show()