集成分类模型简介

集成分类器主要分为俩种：

1.利用相同的训练数据同时搭建多个独立的模型，然后通过投票的方式，以少数服从多数的原则作出最终的分类决策。具有代表性的模型有随机森林分类器（Random Forest Classifier），它是在相同的数据上同时搭建多棵决策树（Decision Tree），与普通的决策树不同的是，普通的决策树会根据每个维度对预测结果的影响程度进行排序（通过采用信息熵），进而决定不同特征从上至下的构建分类节点。而随机森林中的决策树的构建过程都放弃了这一排序算法，改为随机的选取特征。

2.按照一定的次序搭建多个分类器。这些模型之间彼此存在依赖关系。一般而言，每一个后续模型的加入都需要对现有的集成模型的性能有所贡献，进而不断的提升更新后的集成模型的性能，并最终期望借助整合多个分类能力较弱的分类器，搭建出一个分类能力较强的分类模型。比较有代表性的是梯度提升决策树（Gradient Tree Boosting）。与构建随机森林分类模型不同的是这里每一棵决策树在生成的过程中队会尽可能的降低整体集成模型在训练集上的拟合误差。