Bagging的原理和案例分析

Bagging原理

Bagging集成模型最后的预测结果，同时采用一定策略来影响基模型训练，保证基模型可以服从一定的假设。
Bagging的核心在于自助采样(bootstrap), 即有放回的从数据集中进行采样。
Bagging的基本流程：
首先随机取出一个样本放入采样集合中，再把这个样本放回初始数据集，重复K次采样，最终获得一个大小为K的样本集合。
同样的方法采样出T个含K个样本的采样集合，然后基于每个采样集合训练出一个基学习器，再将这些基学习器进行结合。
对回归问题的预测是通过预测取平均值来进行的。对于分类问题的预测是通过对预测取多数票预测来进行的。
Bagging方法之所以有效，是因为每个模型都是在略微不同的训练数据集上拟合完成的，这又使得每个基模型之间存在略微的差异，使每个基模型拥有略微不同的训练能力。

树模型

Sklearn为我们提供了 BaggingRegressor 与 BaggingClassifier 两种Bagging方法的API。默认基模型是树模型。
树模型一般指决策树，是一种树形结构，树的每个非叶子节点表示对样本在一个特征上的判断，节点下方的分支代表对样本的划分。
决策树的建立过程是一个对数据不断划分的过程，每次划分中，首先要选择用于划分的特征，之后要确定划分的方案（类别/阈值）。节点划分过程中所用的指标主要是信息增益和GINI系数。
信息增益衡量的是划分前后信息不确定性程度的减小。信息不确定程度一般使用信息熵来度量。
信息熵: $$H(Y)=-\sum p_{i}log{p}_i$$, 其中$i$表示样本的标签，$p$表示该类样本出现的概率。

当我们对样本做出划分之后，计算样本的条件熵：$$H(Y|X)=-\sum _{x\in X}p(X=x)H(Y|X=x)$$其中$x$表示用于划分的特征的取值。
信息增益定义为信息熵与条件熵的差值:$$IG=H(Y)-H(Y|X)$$.
信息增益IG越大，说明使用该特征划分数据所获得的信息量变化越大，子节点的样本“纯度”越高。
Gini指数衡量数据的不纯度:
$$Gini=1-\sum p_i^2$$
当对样本做出划分后的Gini指数：
$$Gin{i}_x=\sum _{x\in X}p(X=x)[1-\sum p_i^2]$$
一般选择使得划分后Gini指数最小的特征.

Bagging在分类问题上的具体应用

# 创建一个含有1000个样本20维特征的随机分类数据集
# evaluate bagging algorithm for classification
from numpy import mean
from numpy import std
from sklearn.datasets import make_classification
from sklearn.model_selection import cross_val_score
from sklearn.model_selection import RepeatedStratifiedKFold
from sklearn.ensemble import BaggingClassifier
X, y = make_classification(n_samples=1000, n_features=20, n_informative=15,
n_redundant=5, random_state=5)
# define the model
model = BaggingClassifier()
# evaluate the model
cv = RepeatedStratifiedKFold(n_splits=10, n_repeats=3, random_state=1)
n_scores = cross_val_score(model, X, y, scoring='accuracy', cv=cv, n_jobs=-1,
error_score='raise')
# report performance
print('Accuracy: %.3f (%.3f)' % (mean(n_scores), std(n_scores)))