一:定义问题
二:理解数据
三:数据清洗
四:特征工程
五:模型选择
1.定义问题
问题描述:基于项目提供的房屋历史数据,预测新的房屋销售价格,本题是一个回归问题,应考虑使用回归模型进行求解,项目的评分标准是均方根误差(RMSE)。
2.数据理解
2.1数据概览
trainSet=pd.read_csv('E:/Python3.6 File/house-prices/train.csv')#读取数据
testSet=pd.read_csv(''E:/Python3.6 File/house-prices/test.csv')
trainSet.info()
trainSet.describe()#获取数据集的统计学信息
我们可以得知数据是分为训练集和测试集,数据中含有缺失值,目标变量为SalePrice,特征值有数值型和类别型两种数据类型。
2.2 数据可视化分析
2.2.1数值型特征值可视化分析
我们首先获取数值型特征值和类别型特征值得列表
continuous_varible=[]##数值型变量
discrete_varible=[]##类别型变量
for i in range(len(trainSet.columns)):
if trainSet[trainSet.columns[i]].dtype!=object and trainSet.columns[i]!='Id' and trainSet.columns[i]!='SalePrice':
continuous_varible.append(trainSet.columns[i])
elif trainSet.columns[i]!='Id' and trainSet.columns[i]!='SalePrice':
discrete_varible.append(trainSet.columns[i])
再作图观察数值型特征值分布情况
import seaborn as sns
import matplotlib.pyplot as plt
continuous_table=pd.melt(trainSet,value_vars=continuous_varible)##数值型变量的分布
g=sns.FacetGrid(continuous_table,col='variable',col_wrap=4,sharex=False,sharey=False)
g.map(sns.distplot,'value')
plt.show()
绘制目标变量与数值型特征值得分布情况
##绘制连续型变量与SalePrice的关系图
continuous_table=pd.melt(trainSet,id_vars=['SalePrice'],value_vars=continuous_varible)
g=sns.FacetGrid(continuous_table,col='variable',col_wrap=4,sharex=False,sharey=False)
g.map(sns.scatterplot,'value','SalePrice')
plt.show()
2.2.2类别型特征变量分析
对类别型变量进行分析,分别作图查看其分布及与SalePrice之间的关系
#类别型变量的分布图
discrete_table=pd.melt(trainSet,value_vars=discrete_varible)
g=sns.FacetGrid(discrete_table,col='variable',col_wrap=4,sharex=False,sharey=False)
g.map(sns.countplot,'value')
#类别型变量与SalePrice的关系图
discrete_table=pd.melt(trainSet,id_vars='SalePrice',value_vars=discrete_varible)
g=sns.FacetGrid(discrete_table,col='variable',col_wrap=4,sharex=False,sharey=False)
g.map(sns.boxenplot,'value','SalePrice')
由上图可以看出saleprice与类别型数据并没有明显联系,saleprice与GrLivArea,1stFirSF等数值型特征有明显的相关关系。
2.2.3目标变量SalePrice的可视化分析
分析目标变量SalePrice 我们对目标变量SalePrice进行可视化处理,利用seaborn作其概率密度图; 通过图我们发现SalePrice并不完全符合正态分布,我们可以查看峰度(Kurtosis)和偏度(Skewness)两个统计量; 通过箱型图我们发现SalePrice存在异常值。
##接下来我们对目标变量SalePrice进行可视化处理
plt.subplots(figsize=(10,5))
sns.distplot(trainSet.SalePrice)##seaborn作其密度曲线
plt.subplots(figsize=(10,5))
sns.boxplot(trainSet.SalePrice)
计算SalePrice的峰度和偏度,观察其是否满足正态分布
我们发现SalePrice分布不满足正态分布且具有异常值,稍后我们可以对其进行对数变换使其满足正态分布,并且可以删除其异常值。
2.3相关性分析
计算saleprice与特征之间的相关系数,并进行可视化处理。
##计算saleprice与特征之间的相关系数
trainSet.corr()['SalePrice'].sort_values(ascending=False)[1:]
##绘制热图
plt.subplots(figsize=(30,20))
sns.heatmap(trainSet.corr(),cmap="BrBG",center=0,annot=True,linewidths=.5)
##绘制关于trainSet的相关系数,颜色风格为‘BrBG’,以0为中心,显示数值(annot),中间用0.5width的线分隔的热图
plt.show()
由此热图我们可以发现有大概15个特征与saleprice呈较强相关,其中有三个特征与saleprice呈高相关 许多特征与特征之间也呈现较高相关性 由上图可以看出saleprice与object型数据并没有明显联系 saleprice与GrLivArea,1stFirSF等特征有明显的相关关系。
3.数据清洗
3.1.异常值处理
作散点图观察SalePrice异常点,对异常值进行处理。
previous_train=trainSet.copy()
train1=trainSet[(trainSet.GrLivArea <= 4000) & (trainSet.SalePrice <= 500000)]
3.2目标变量正态化处理
使用对数变换对目标变量SalePrice进行正态化,使其更加满足正态分布。
3.3缺失值处理
1.合并训练集和测试集以便于对数据进行处理
2.对于有些缺失值比如Alley空值代表的是没有,可以用NA填充
missing_val_col = ["Alley",
"PoolQC",
"MiscFeature",
"Fence",
"FireplaceQu",
"GarageType",
"GarageFinish",
"GarageQual",
"GarageCond",
'BsmtQual',
'BsmtCond',
'BsmtExposure',
'BsmtFinType1',
'BsmtFinType2',
'MasVnrType']
for i in missing_val_col:
all_data[i].fillna('None',inplace=True)##在all_data上进行填充空值
3.对于有些特征空值填充为0。
missing_val_col2 = ['BsmtFinSF1',
'BsmtFinSF2',
'BsmtUnfSF',
'TotalBsmtSF',
'BsmtFullBath',
'BsmtHalfBath',
'GarageYrBlt',
'GarageArea',
'GarageCars',
'MasVnrArea']
for i in missing_val_col2:
all_data[i].fillna(0,inplace=True)##在all_data上进行填充空值,空值填为0
4.用每个社区的街道中间值来代替那些街道尺寸空缺的选项
all_data['LotFrontage'] = all_data.groupby('Neighborhood')['LotFrontage'].transform( lambda x: x.fillna(x.median()))
5.利用众数进行填充
missing_val_col3 = ['MSZoning','Utilities','Functional', 'SaleType','KitchenQual','Exterior2nd','Exterior1st','Electrical']
for i in missing_val_col3:
all_data[i].fillna(all_data[i].mode()[0],inplace=True)
6.查看缺失值
由此可见缺失值已经处理完成。
4.特征工程
4.1数值型特征转换为类别特征
#将某些特征的类型从数值型转变为类别型
all_data['OverallCond'] = all_data['OverallCond'].astype(str)
all_data['OverallQual'] = all_data['OverallQual'].astype(str)
## 年份也应该是类别型而非数值型
all_data['YearBuilt'] = all_data['YearBuilt'].astype(str)
all_data['YearRemodAdd'] = all_data['YearRemodAdd'].astype(str)
all_data['YrSold'] = all_data['YrSold'].astype(str)
all_data['MoSold'] = all_data['MoSold'].astype(str)
all_data['GarageYrBlt'] = all_data['GarageYrBlt'].astype(str)
## MSSubClass代表住宅类型处于字符型变量
all_data['MSSubClass'] = all_data['MSSubClass'].astype(str)
4.2类别特征转换为数值特征
将类别型特征转化为数值型特征,对于无序型类别特征使用one-hot编码
##将字符型的分类变量转变为数值型的变量以方便回归模型调用
all_data=pd.get_dummies(all_data,drop_first=True)
4.3归一化处理
对数值进行归一化处理,使用(X-X_mean)/std
##归一化处理,使用(X-X_mean)/std
num_cols_means=all_data.loc[:,num_cols].mean()
num_cols_std=all_data.loc[:,num_cols].std()
all_data.loc[:,num_cols]=(all_data.loc[:,num_cols]-num_cols_means)/num_cols_std
5.模型选择与调参
首先将训练集和测试集分离
##分回训练集和测试集
train_x=all_data[:n_train]
train_y=train1.SalePrice
test_x=all_data[n_train:]
#test_y=pd.read_csv('E:/Python3.6 File/house-prices/sample_submission.csv').SalePrice
1.首先我们使用普通线性回归模型,利用交叉验证法计算器均方根误差。
##使用线性回归模型(linerGression)进行预测
from sklearn.linear_model import LinearRegression
from sklearn.model_selection import train_test_split,cross_val_score
from sklearn.metrics import mean_squared_error
## 设置学习器,n_jobs=-1,代表CPU全速启动
lin_reg = LinearRegression(n_jobs=-1)
##计算均方根误差
scores = np.sqrt(-cross_val_score(lin_reg, train_x,train_y,cv = 10, scoring = 'neg_mean_squared_error'))
scores=scores.mean()
scores
最后计算得出其均方根误差达到600903,很明显普通线性回归模型不适用。
2.使用岭回归模型进行预测
##使用Ridge Regression(岭回归)模型
from sklearn.linear_model import Ridge
##划分数据集,1/3为测试集
trainX,testX,trainY,testY=train_test_split(train_x,train_y,test_size=1/3,random_state=3)
scores=[]
alpha_score={}
#alpha=[-3,-2,-1,1e-15, 1e-10, 1e-8, 1e-4, 1e-3,1e-2, 1,1.5, 2,3,4, 5, 10, 20, 30, 40]
alpha=np.logspace(-3,2,50)
for i in alpha:
ridge=Ridge(i)##参数值设为i
##交叉验证
score=np.sqrt(-cross_val_score(ridge,trainX,trainY,cv=10,scoring='neg_mean_squared_error'))#求其均方根误差
#使用ridge学习器,对数据trainX,trainY进行10折交叉验证,评价标准为准确度‘accuracy’
scores.append(score.mean())
alpha_score[i]=score.mean()
##绘制不同alpha值与评分图
plt.plot(alpha,scores)
plt.xlabel('alpha')
plt.ylabel('Accuracy')
plt.show()
我们可以知道对于岭回归,当alpha取9.5时,评分sorce为0.121,能够得到最佳预测效果
所以我们可以使用alpha=9.5的岭回归模型进行预测 。
3.使用随机森林进行预测
from sklearn.ensemble import RandomForestRegressor
max_features=[.1,.3,.5,.7,.9,.99]
scores=[]
for i in max_features:
clf=RandomForestRegressor(n_estimators=200,max_features=i)
score=np.sqrt(-cross_val_score(clf,trainX,trainY,cv=5,scoring='neg_mean_squared_error'))
scores.append(score.mean())
plt.plot(max_features,scores)
plt.title('Max feature vs RMSE ')
由图可以看出取最大特征数为大概0.3时可以有一个比较低的误差 使用max_features=0.3来进行预测。
clf=RandomForestRegressor(max_features=0.5,n_estimators=200)
R_clf=clf.fit(trainX,trainY)
predict03=R_clf.predict(testX)
最后我们得出随机森林法的误差为0.137
4.使用AdaBagging法进行预测
##取alpha=9.5
from sklearn.linear_model import Ridge
ridge=Ridge(9.5)
from sklearn.ensemble import BaggingRegressor
from sklearn.model_selection import cross_val_score
#我们在使用Bag个ing集成时将它的基分类器设置为ridge
#trainX,testX,trainY,testY=train_test_split(train_x,train_y,test_size=1/3,random_state=3)
params=[1,10,15,20,25,30,40]
test_scores=[]
for param in params:
clf=BaggingRegressor(n_estimators=param,base_estimator=ridge)
scores=np.sqrt(-cross_val_score(clf,trainX,trainY,cv=10,scoring='neg_mean_squared_error'))
test_scores.append(scores.mean())
plt.plot(params,test_scores)
plt.title('n_estimators vs RMSE')
可以得出当基学习器个数为40时,误差降到了0.122以下,决定采用n_estimators=40,基学习器为alpha=9.5的Ridge学习器。
ridge=Ridge(9.5)
clf=BaggingRegressor(n_estimators=40,base_estimator=ridge)
clf.fit(trainX,trainY)
predict_B=clf.predict(testX)
最后可以得出AdaBagging法的误差为0.122。