模型介绍
常言道:“一个篱笆三个桩,一个好汉三个帮”。集成分类模型便是综合考量多个分类器的预测结果,从而做出决策。具体分为两种:
- 一种是利用相同的训练数据同时搭建多个独立的分类模型,然后通过投票的方式,以少数服从多数的原则作出最终的分类决策。代表模型有随机森林分类器(Random Forest Classifier)
- 另一种是按照一定次序搭建多个分类模型。这些模型之间彼此存在依赖关系。代表模型有梯度提升决策树(Gradient Tree Boosting)
编程实践
依旧使用泰坦尼克号的数据,对比单一决策树、随即森林、梯度提升决策树的性能差异
import pandas as pd
titanic=pd.read_csv('http://biostat.mc.vanderbilt.edu/wiki/pub/Main/DataSets/titanic.txt')
X=titanic[['pclass','age','sex']]
y=titanic['survived']
X['age'].fillna(X['age'