boosting算法

目录

boosting概念

AdaBoost算法步骤

AdaBoost训练过程

boosting代码实现

---

boosting概念

AdaBoost,它的自适应在于：前一个基本分类器被错误分类的样本的权值会增大（ 即下次被抽样的概率增大），而正确分类的样本的权值会减小，并再次用来训练下一个基本分类器。同时，在每一轮迭代中，加入一个新的弱分类器，直到达到某个预定的足够小的错误率或达到预先指定的最大迭代次数才确定最终的强分类器。

在直觉上：把学习器的重点放在容易出错的样本上，可以提高学习器的性能。如下图是我们简单的训练数据的过程。

 

AdaBoost算法步骤

1. 首先，是初始化训练数据的权值分布D1，假设有N个训练样本数据，则每一个训练样本最开始时，都被赋予相同的权值；W1=1/N。
2. 然后，训练弱分类器hj，具体训练过程是：如果某个训练样本点被弱分类器hj准确的分类，那么在构造下一个训练集中，它对应的权值要减小，相反，如果某个训练样本点被错误分类，那么它的权值就应该增大，权值更新过程的样本集被用于训练下一个分类器，整个训练过程如此迭代的进行下去。
3. 最后，将各个训练的弱分类器组成一个强分类器，各个弱分类器的训练过程结束后，加大分类误差率小的弱分类器的权重，使其在最终的分类函数中起着较大的决定作用，而降低分类误差率大的弱分类器的权重，使其在最终的分类函数中起着较小的决定作用。（换言之，误差率低的弱分类器在最终分类器中占的权重较大，否则较小）

AdaBoost训练过程

输入：

• D：类标记的训练元素组集
• k：轮数（每轮产生一个分类器）
• 一种分类学习方案

输出：一个复合模型

方法：

1. 将D中每个元组的权重初始化为1/d；
2. for i=1 to k do
3. 根据元组的权重从D中有放回抽样，得到Di；
4. 使用训练集Di导出模型Mi；
5. 计算Mi的错误率error（Mi）
6. if error(Mi) > 0.5 then
7.  转步骤3重试
8. endif
9. for Di的每个被正确分类的元组do
10. 元组的权重乘以error（Mi）/(1-error(Mi));
11. 规范化每个元组的权重；
12. endfor

使用组合分类器对元组x分类：

1. 将每个类的权重初始化为0；
2. for i=1 to k do
3. wi=log(1-error(Mi)/error(Mi);
4. c = Mi(x);
5. 将wi加到类c的权重；
6. endfor
7. 返回具有最大权重的类；

boosting代码实现

import numpy as np
import matplotlib.pyplot as plt
from sklearn import tree
from sklearn.ensemble import AdaBoostClassifier
from sklearn.tree import DecisionTreeClassifier
from sklearn.datasets import make_gaussian_quantiles
from sklearn.metrics import classification_report
%matplotlib inline

# 生成2维正态分布，生成的数据按分位数分为两类，500个样本,2个样本特征
x1, y1 = make_gaussian_quantiles(n_samples=500, n_features=2,n_classes=2)
# 生成2维正态分布，生成的数据按分位数分为两类，400个样本,2个样本特征均值都为3
x2, y2 = make_gaussian_quantiles(mean=(3, 3), n_samples=500, n_features=2, n_classes=2)
# 将两组数据合成一组数据
x_data = np.concatenate((x1, x2))
y_data = np.concatenate((y1, - y2 + 1))

plt.scatter(x_data[:, 0], x_data[:, 1], c=y_data)
plt.show()

# 决策树模型
model = tree.DecisionTreeClassifier(max_depth=3)

# 输入数据建立模型
model.fit(x_data, y_data)

# 获取数据值所在的范围
x_min, x_max = x_data[:, 0].min() - 1, x_data[:, 0].max() + 1
y_min, y_max = x_data[:, 1].min() - 1, x_data[:, 1].max() + 1

# 生成网格矩阵
xx, yy = np.meshgrid(np.arange(x_min, x_max, 0.02),
                     np.arange(y_min, y_max, 0.02))

z = model.predict(np.c_[xx.ravel(), yy.ravel()])# ravel与flatten类似，多维数据转一维。flatten不会改变原始数据，ravel会改变原始数据
z = z.reshape(xx.shape)
# 等高线图
cs = plt.contourf(xx, yy, z)
# 样本散点图
plt.scatter(x_data[:, 0], x_data[:, 1], c=y_data)
plt.show()

# 模型准确率
model.score(x_data,y_data)

# AdaBoost模型
model = AdaBoostClassifier(DecisionTreeClassifier(max_depth=3),n_estimators=10)
# 训练模型
model.fit(x_data, y_data)

# 获取数据值所在的范围
x_min, x_max = x_data[:, 0].min() - 1, x_data[:, 0].max() + 1
y_min, y_max = x_data[:, 1].min() - 1, x_data[:, 1].max() + 1

# 生成网格矩阵
xx, yy = np.meshgrid(np.arange(x_min, x_max, 0.02),
                     np.arange(y_min, y_max, 0.02))

# 获取预测值
z = model.predict(np.c_[xx.ravel(), yy.ravel()])
z = z.reshape(xx.shape)
# 等高线图
cs = plt.contourf(xx, yy, z)
# 样本散点图
plt.scatter(x_data[:, 0], x_data[:, 1], c=y_data)
plt.show()

# 模型准确率
model.score(x_data,y_data)

在代码中 ，我们使用决策树算法与boosting算法进行比较，让我们更清晰的看清boosting算法的高准确率。

结果如下：

决策树模型                                                              boosting模型

                                       

 从显示的图像以及最终的准确率我们都可以看到使用boosting模型的效果更好。