集成学习（中）Task08 Bagging的原理和案例分析

1. 理论学习

1.1 bagging的思路

• Bagging集成模型最后的预测结果，
• 同时采用一定策略来影响基模型训练，保证基模型可以服从一定的假设。
• 通过不同的采样增加模型的差异性来使各个模型之间具有较大的差异性。

1.2 bagging的原理分析

1.2.1 Bagging的核心：

自助采样(bootstrap)，即有放回的从数据集中进行采样，也就是说，同样的一个样本可能被多次进行采样。

1.2.2 基本流程：

首先我们随机取出一个样本放入采样集合中，再把这个样本放回初始数据集，重复K次采样，最终我们可以获得一个大小为K的样本集合。
同样的方法， 我们可以采样出T个含K个样本的采样集合，然后基于每个采样集合训练出一个基学习器，再将这些基学习器进行结合。

• 回归问题的预测：预测结果是所有模型的预测结果取平均值。
• 分类问题：预测结果取多数票预测来进行的。

1.2.3 适用性：

Bagging同样是一种降低方差的技术，因此它在不剪枝决策树、神经网络等易受样本扰动的学习器上效果更加明显。
于高维小样本的数据集效果好。

2.实例运行

Sklearn为我们提供了 BaggingRegressor 与 BaggingClassifier 两种Bagging方法的API。这里两种方法的默认基模型是树模型
（决策树，树的每个非叶子节点表示对样本在一个特征上的判断，节点下方的分支代表对样本的划分）。

2.1 决策树的建立：

• 是一个对数据不断划分的过程，每次划分中，首先要选择用于划分的特征，之后要确定划分的方案（类别/阈值）。
• 需要让决策树的分支节点所包含的样本“纯度”尽可能地高。节点划分过程中所用的指标主要是信息增益和GINI系数。

2.2 信息增益（IG)

• 信息增益：划分前后信息不确定性程度的减小。

• 信息不确定程度一般使用信息熵来度量，其计算方式是：
  

• 其中i表示样本的标签，p表示该类样本出现的概率。当我们对样本做出划分之后，计算样本的条件熵：

其中x表示用于划分的特征的取值。

• 信息增益：信息熵与条件熵的差值：
  
• 信息增益IG越大，说明使用该特征划分数据所获得的信息量变化越大，子节点的样本“纯度”越高。

2.3 Gini指数

• 利用Gini指数来衡量数据的不纯度
  
• 当我们对样本做出划分后，计算划分后的Gini指数：
  
  我们选择使得划分后Gini指数最小的特征（注意这里是直接根据Gini指数进行判断，而并非其变化量）。

例子：
我们要训练一个模型，根据天气、温度和风力等级来判断是否打网球。

Bagging的一个典型应用是随机森林。
“森林”是由许多“树”bagging组成的。在具体实现上，用于每个决策树训练的样本和构建决策树的特征都是通过随机采样得到的，随机森林的预测结果是多个决策树输出的组合（投票）。随机森林的示意图如下：

下面我们使用sklearn来实现基于决策树方法的bagging策略。

我们创建一个含有1000个样本20维特征的随机分类数据集：

# 使用sklearn.datasets.make_classification方法创建数据集
from sklearn.datasets import make_classification
# 生成总样本数为1000个，特征数为20，其中多信息特征数为15，冗余信息特征数为5的数据集
X, y = make_classification(n_samples=1000, n_features=20, n_informative=15, 
                           n_redundant=5, random_state=5)
# summarize the dataset
print(X.shape, y.shape)

(1000, 20) (1000,)

• 评估该模型

我们将使用重复的分层k-fold交叉验证（RepeatedStratifiedKFold）来评估该模型，一共重复3次，每次有10个fold。我们将评估该模型在所有重复交叉验证中性能的平均值和标准差。

from numpy import mean
from numpy import std
from sklearn.datasets import make_classification
from sklearn.model_selection import cross_val_score
from sklearn.model_selection import RepeatedStratifiedKFold
from sklearn.ensemble import BaggingClassifier
# define dataset
X, y = make_classification(n_samples=1000, n_features=20, n_informative=15, n_redundant=5, random_state=5)
# define the model
model = BaggingClassifier()
# evaluate the model
cv = RepeatedStratifiedKFold(n_splits=10, n_repeats=3, random_state=1)
n_scores = cross_val_score(model, X, y, scoring='accuracy', cv=cv, n_jobs=-1, error_score='raise')
# report performance
print('Accuracy: %.3f (%.3f)' % (mean(n_scores), std(n_scores)))

Accuracy: 0.858 (0.042)
最终模型的效果是Accuracy: 0.858 标准差0.042