@数据分析-回归-波士顿房价数据集
数据来源:
目录
1、目标
2、数据集介绍
3、代码
3.1 导入必须的工具包
3.2 导入数据
3.3 数据探索
3.4 数据集划分
3.5 模型构建
3.6 评价
1、目标
根据历史房价数据建立回归模型,预测不同类型房屋的价格。
2、数据集
样本数:10000
特征数量: 13个相关属性(即13个指标变量),1个目标变量(房价)。
特征 说明
CRIM 城镇人均犯罪率
ZN 大于25,000平方英尺的地块划分为住宅用地的比例
INDUS 每个城镇非零售业务的比例
CHAS 查尔斯河虚拟变量(如果 = 1则为河; =0则不为河)
NOX 一氧化氮浓度(每千万)
RM 每间住宅的平均房间数
AGE 自住房屋是在1940年之前建造的比例
DIS 到加州五个就业中心的加权距离
RAD 对径向高速公路的可达性指数
TAX 每10,000美元的全价物业税
PTRATIO 城镇的学生与教师比例
B 1000(Bk-0.63)^ 2其中Bk是城镇的黑人的比例
LSTAT 低社会阶层人口比例%
MEDV 以1000美元为单位的自住房屋的中位数价格
3 代码
3.1 导入必须的工具包
import numpy as np
import pandas as pd
from sklearn import preprocessing
from sklearn.model_selection import train_test_split
from sklearn.linear_model import LinearRegression,Lasso,ElasticNet
from sklearn.metrics import r2_score
from sklearn.metrics import mean_squared_error
import matplotlib.pyplot as plt
%matplotlib inline
import seaborn as sn
3.2 读入数据
data = pd.read_csv("d:/datasets/HousingData.csv")#读取csv
3.3 数据探索
查看数据的类型,完整性
查看数据的统计特征(均值、方差等)
data.head() #查看前五行
data.tail()
data.sample()
data.info() #查看数据的类型,完整性
data.describe() #查看数据的统计特征(均值、方差等)
data.dropna(inplace=True) #删除有缺失的样本
通过散点图展示各特征与目标变量的关系
for id in data.columns[:-1]:
sn.pairplot(data[[id,data.columns[-1]]])
特征与标签分离,y = 波士顿房价,X = 输入变量
y = data['MEDV'] # 标签-房价
X = data.drop(['MEDV'], axis=1) #去掉标签(房价)的数据子集
3.4 数据集划分
X_train为训练数据, y_train为训练集标签,X_test为测试数据,y_test为测试集标签。
抽取70%的数据作为训练集, 用剩余样本进行分类结果测试。
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size = 0.3)
3.5 数据标准化
Z-score标准化,在训练集上训练,在训练集与测试集上标准化,泛化时标准化也用训练集上的训练结果。
scaler=preprocessing.StandardScaler().fit(X_train)
X_train=scaler.transform(X_train)
X_test=scaler.transform(X_test)
3.6 模型构建\训练\预测\评价
LinearRegression回归模型:
lr = LinearRegression() #实例化一个线性回归对象
lr.fit(X_train, y_train) #采用fit方法,拟合回归系数和截距
print(lr.intercept_) #输出截距
print(lr.coef_) #输出系数 可分析特征的重要性以及与目标的关系
y_pred = lr.predict(X_test)#模型预测
print("R2=",r2_score(y_test, y_pred))#模型评价, 决定系数
#print("mse=",mean_squared_error(y_test, y_pred))#均方误差
#print(lr.intercept_) #输出截距
#print(lr.coef_) #系数
0.7244902005756717
可视化预测值与真实值
plt.plot(y_test.values,c="r",label="y_test")
plt.plot(y_pred,c="b",label="y_pred")
plt.legend()
ElasticNet回归
EN=ElasticNet(0.01) #实例化弹性网络回归对象
EN.fit(X_train,y_train) #训练
y_pred=EN.predict(X_test) #预测
#评价
print(r2_score(y_pred,y_test))
#print("mse=",mean_squared_error(y_test, y_pred))#均方误差
y_predt=EN.predict(X_train) #查看训练集上的效果
print(r2_score(y_predt,y_train))
0.6206474701040163 0.7143978031016661
lasso回归
la = Lasso()
la.fit(X_train, y_train)#拟合
y_pred=la.predict(X_test) #预测
#评价
print(r2_score(y_pred,y_test))
#print("mse=",mean_squared_error(y_test, y_pred))#均方误差
y_predt=la.predict(X_train) #查看训练集上的效果
print(r2_score(y_predt,y_train))
#prtin(la.coef_) #输出系数 (部分系数为“0”,lasso常用与特征提取) 可分析特征的重要性以及与目标的关系
0.6463644720156518 0.7135957871520437
岭回归
from sklearn.linear_model import Ridge
rd=Ridge(0.01)
rd.fit(X_train,y_train)
y_pred=rd.predict(X_test)
print(r2_score(y_pred,y_test))
y_predt=rd.predict(X_train)
print(r2_score(y_predt,y_train))
0.6254595151946203 0.717315101727843
贝叶斯岭回归
from sklearn.linear_model import BayesianRidge
Brd=BayesianRidge()
Brd.fit(X_train,y_train)
y_pred=Brd.predict(X_test)
print(r2_score(y_pred,y_test))
y_predt=Brd.predict(X_train)
print(r2_score(y_predt,y_train))
0.6117791860152302 0.708456749967072
K近邻回归
from sklearn.neighbors import KNeighborsRegressor
Knr=KNeighborsRegressor()
Knr.fit(X_train,y_train)
y_pred=Knr.predict(X_test)
print(r2_score(y_pred,y_test))
y_predt=Knr.predict(X_train)
r2_score(y_predt,y_train)
0.47466312380045683 0.7576061948485711
支持向量回归
from sklearn.svm import SVR
svr=SVR()
svr.fit(X_train,y_train)
y_pred=svr.predict(X_test)
print(r2_score(y_pred,y_test))
y_predt=svr.predict(X_train)
r2_score(y_predt,y_train)
-0.3945293748344476 #训练效果差到不如用均值估计 0.1313717790081549
决策树回归
from sklearn.tree import DecisionTreeRegressor
dtr=DecisionTreeRegressor(max_depth=4)
dtr.fit(X_train,y_train)
y_pred=dtr.predict(X_test)
print(r2_score(y_pred,y_test))
y_predt=dtr.predict(X_train)
print(r2_score(y_predt,y_train))
0.7795924378835133 0.8862706664213111
多项式回归
from sklearn.preprocessing import PolynomialFeatures
poly = PolynomialFeatures(degree=2) # 添加特征(升维)
poly.fit(X_train)
poly.fit(X_test)
X_1 = poly.transform(X_train)
X_2 = poly.transform(X_test)
# 训练
lin_reg = LinearRegression()
lin_reg.fit(X_1, y_train)
#预测、评价
y_pred = lin_reg.predict(X_1)
print(r2_score(y_pred,y_train))
y_pred = lin_reg.predict(X_2)
print(r2_score(y_pred,y_test))
0.9613453122107047 #训练集效果很好,测试集一般,过拟合 0.7262626772433789