监督学习-分类模型6-集成模型（Ensemble）

模型介绍

常言道：“一个篱笆三个桩，一个好汉三个帮”。集成分类模型便是综合考量多个分类器的预测结果，从而做出决策。具体分为两种：

• 一种是利用相同的训练数据同时搭建多个独立的分类模型，然后通过投票的方式，以少数服从多数的原则作出最终的分类决策。代表模型有随机森林分类器（Random Forest Classifier）
• 另一种是按照一定次序搭建多个分类模型。这些模型之间彼此存在依赖关系。代表模型有梯度提升决策树（Gradient Tree Boosting）

编程实践

依旧使用泰坦尼克号的数据，对比单一决策树、随即森林、梯度提升决策树的性能差异

import pandas as pd

titanic=pd.read_csv('http://biostat.mc.vanderbilt.edu/wiki/pub/Main/DataSets/titanic.txt')

X=titanic[['pclass','age','sex']]
y=titanic['survived']

X['age'].fillna(X['age']