集成学习（Ensemble_learning）

1. 关于集成学习算法

集成学习算法，通俗地讲就是：三个臭皮匠，顶个诸葛亮，这在很多地方都有人提过。举个例子，比如你想第一本书，但是你不知道这本书怎么样，值不值得读，那么你可以通过打听，听取周围人的意见，得到对该书的一个基本评价，这是一种评价方式。你还可以通过京东、当当等电商网站上买书的人对该书的相关评论，得到一些意见，还有就是，你也可以通过豆瓣上对该书的评价，来获取相关信息。

这都是一些对该书评价的基本方法，最终的结果可能就是，你综合这几种意见，最后得到对该书的一个全面性评价，可能这种评价方式比你单纯依赖一种方式的效果好。

集成算法就是这样一种算法，它本身不是一个单独的机器学习算法，或者说没有自身的机器学习思维，而是采用集成的方式来完成对数据或事物的学习、训练过程。

2. 关于集成学习算法的框架体系

集成学习算法作为机器学习里的一个分支，已形成了一套的理论体系，其相关概念也比较多，如个体学习器、结合策略、bagging、AdaBoost算法、XGB、LGBT等等，让初学者眼花缭乱，每个具体算法的原理不同又会让大家晕头转向。

实际上，这些繁多的内容背后，集成学习算法可以分成两大框架，这也是集成学习着重解决的两个算法。崔丽娟等（2007）在论文《基于分类的集成学习算法研究》中认为集成学习主要由两部分构成：个体生成方法与结论生成方法，这就是集成学习的两个框架。

本人认为，这两部分叫个体集成方法与结论集成方法更贴切，其中前者表示如何得到若干个个体学习器，针对的是每一个具体算法，我如何操作，来集成其优点，后者表示如何选择一种结合策略将个体学习器集合起来，形成强学习器，针对的是不同个体学习器的训练结果，我如何集成起来，获得最优结果。

比如前边讲的对图书评价的问题，我采纳了三种意见得到了该书的综合评价结果，这就是一种结论集成方法。我还可以进一步，对三种评价方式进行优化，比如同过抽样的方法获取周围人的评价，或者一些网站的评论中有水军，可能我就要采取一些方法去验证等等，把这两个步骤结合起来就是集成学习。

集成学习的主要框架体系也是以此分类的，其中，结论集成方法较为简单，包括投票法、平均法、学习法等，其原理也相对简单，个体集成方法主要分为两大类：Boosting和Bagging，前者是基于训练集的学习误差来优化权重，从而提高学习性能，后者是通过对样本训练集反复抽样来提高学习器的性能，并衍生出很多算法。

3. 结论集成方法

由于结论集成方法相对简单，且容易理解，所以在这里先讲解这方面内容。

（1）投票法

最简单的投票法是相对多数投票法，也就是我们常说的少数服从多数，数量最多的类别为最终的分类类别。如果不止一个类别获得最高票，则随机选择一个做最终类别。

稍微复杂的投票法是绝对多数投票法，也就是我们常说的要票过半数。在相对多数投票法的基础上，不光要求获得最高票，还要求票过半数。否则会拒绝预测。更加复杂的是加权投票法，和加权平均法一样，每个弱学习器的分类票数要乘以一个权重，最终将各个类别的加权票数求和，最大的值对应的类别为最终类别。

我们以鸢尾花为例，如下所示，通过决策树、逻辑回归来构建了个体学习器，然后投票选择算法。

#导入sklearn及numpy模块

from sklearn.datasets import load_iris

from sklearn import cross_validation

import numpy