集成学习：让算法和算法赛跑

集成学习的基本概念

集成学习的概念有点像竞争社会，让算法之间竞争，决出最好的结果。如果底层的算法(或者说个体学习器)是同样的只是初始化参数不同，就称为同质集成。如果底层算法的基因都不一样，来自不同的机器学习门派，就称为异质集成。
个体学习器经常设置为多个不同的机器学习算法，这样做保证了个体学习期相互独立性的要求。例如支持向量机（SVM）、线性回归、k近邻、二元决策树等。但是这样做的缺点是每个个体学习期都有不同的参数，需要分别调参，最要命的是，每个模型对输入数据的要求也不一样。这样一来，问题建模的过程反而又复杂了。
因此，在应用集成方法时候，关键是生成大量近似独立模型——这些个体学习器便于调参，输入参数要求一致，易于集成。这里，我们以二元决策树为个体学习器，上层算法以某种方式使得使得个体模型相对独立。具体来说，常见得上层算法有：投票（bagging）、提升（boosting）和随机森林（random forests）。

构建弱分类器：决策树

二元决策树可以看作是简单的条件选择，基于某个特性做“是”或者“否”的判断。每次决策后，可能会引出另外一个决策，或者，生成最终的结果。最上面的节点称为根节点（root node）。根节点通常是特别重要的性质（变量），决策树的深度定义为从上到下遍历树的最长路径。例如下面的例子中，这个决策树的深度就是5.

import numpy as np
from sklearn import tree
from sklearn.tree import DecisionTreeRegressor
from sklearn.externals.six import StringIO
# a simple data set with y = x + random
nPoints = 100
xPlot = np.linspace(-0.5, 0.5, 100, endpoint=False)
x = [[xi] for xi in xPlot]
# add random noise
np.random.seed