集成回归模型

集成回归模型综合考量多个回归器的预测结果从而做出决策，这种“综合考量”的方式大体上分为两种：

（1）利用相同的训练数据同时搭建多个独立的回归模型，然后通过投票的方式，以少数服从多数的原则作出最终的回归决策。比较有代表性的是随机森林分类器

（2）按照一定次序搭建多个分类模型，这些模型之间存在依赖关系，一般而言，每一个后续模型的加入都需要对现有的集成模型的综合性能有所贡献，进而不断提升更新过后的集成模型的性能。比较有代表性的是梯度提升回归模型。

本文通过预测波士顿房价的案例来介绍普通随机森林，极端随机森林和梯度提升树回归模型这三种集成模型，文章不介绍具体的算法。语言是Python3.6，集成环境是Anaconda3。

1、源代码

#导入数据
from sklearn.datasets import load_boston
boston=load_boston()
print(boston.DESCR)

from sklearn.cross_validation import train_test_split
import numpy as np
X=boston.data
y=boston.target

X_train,X_test,y_train,y_test=train_test_split(X,y,random_state=33,test_size=0.25)
#分析回归目标值的差异
print('max:',np.max(boston.target),'\tmin:',np.min(boston.target),'\taverage:',np.mean(boston.target))

from sklearn.preprocessing import StandardScaler

ss_X=StandardScaler()
ss_y=StandardScaler()

#标准化处理
X_train=ss_X.fit_transform(X_train)
X_test=ss_X.fit_transform(X_test)
y_train=ss_y.fit_transform(y_train)
y_test=ss_y.fit_transform(y_test)


#分别导入普通随机森林回归模型、极端随机森林回归模型、梯度提升树回归模型
from sklearn.ensemble import RandomForestRegressor,ExtraTreesRegressor,GradientBoostingRegressor

rfr=RandomForestRegressor()
rfr.fit(X_train,y_train)
rfr_y_predict=rfr.predict(X_test)


etr=ExtraTreesRegressor()
etr.fit(X_train,y_train)
etr_y_predict=etr.predict(X_test)

gbr=GradientBoostingRegressor()
gbr.fit(X_train,y_train)
gbr_y_predict=gbr.predict(X_test)


#对三种集成模型进行性能评价
print('R-squared value of RandomForestRegressor:',rfr.score(X_test,y_test))
print('R-squared value of ExtraTreesRegressor:',etr.score(X_test,y_test))
print('R-squared value of GradientBoostingRegressor:',gbr.score(X_test,y_test))

2、结果比较

R-squared value of RandomForestRegressor: 0.658206796941
R-squared value of ExtraTreesRegressor: 0.756918071404
R-squared value of GradientBoostingRegressor: 0.712558586928

极端随机森林和普通随机森林模型不同的是：极端随机森林在每当构建一棵树的分裂节点时，不会任意地选取特征，而是先随机收集一部分特征，然后利用信息熵和基尼不纯性等指标挑选最佳的节点特征。