集成学习笔记08-Bagging算法原理及应用

Bagging算法原理及应用

Bagging原理

Bagging是通过对数据进行有放回的自助采样(Bootstrap)，对采样集合训练出基学习器，通过如此反复多次的学习，将多个基学习器进行简单投票法。
Bagging步骤

1. 从全样本集中有放回的随机取k个样本作为一个样本集，重复T次，取得T个样本集
2. 对T个样本集每个训练出一个基学习器
3. 对所有基学习器预测结果采用取平均值(回归问题)或投票法(分类问题)得出最终结果

Bagging之所以有效，是因为每个模型都是在略有不同的训练数据子集上训练完成的，这又使得每个基模型之间存在略微的差异，使每个基模型拥有略微不同的训练能力。
Bagging是通过降低方差的方式减少预测误差，因此它在不剪枝决策树、神经网络等易受样本扰动的学习器上效果更加明显。在实际的使用中，加入列采样的Bagging技术对高维小样本往往效果更有效。

from sklearn.ensemble import BaggingClassifier
from sklearn import datasets
from sklearn.model_selection import cross_val_score, RepeatedStratifiedKFold
import numpy as np

model = BaggingClassifier()
X, y = datasets.make_classification(n_samples=2000, n_features=20, n_informative=15, n_redundant=5, random_state=2)
cv = RepeatedStratifiedKFold(n_splits=10, n_repeats=3, random_state=1)
n_scores = cross_val_score(model, X, y, scoring='accuracy', cv=cv, n_jobs=-1, error_score='raise')
print(n_scores)
print('Accuracy: {:.3f} ({:.3f})'.format(np.mean(n_scores), np.std(n_scores)))

运行得出最终的准确率及方差

Accuracy: 0.877 (0.022)

Bagging的一个典型应用是随机森林。森林是由许多树(bagging)组成的。在具体实现上，用于每个决策树训练的样本和构建决策树的特征都是通过随机采样得到的，随机森林的预测结果是多个决策树输出的组合（投票）。随机森林的示意图如下：