sklearn(4): adaboost

集成算法

• bagging：套袋法

• boosting：提升算法：增大错误样本的权重同时减小正确样本的权重。与bagging对比boosting可以同时降低偏差和方差，而bagging只能降低模型的方差。但boosting更加容易过拟合。

• 随机森林：应用bagging和多颗决策树

• 梯度提升树

• adaboost：

adaboost算法与boost算法不同，它是使用整个训练集来训练弱学习器，其中训练样本在每次迭代的过程中都会重新被赋予一个权重，在上一个弱学习器错误的基础熵进行学习来构建一个更加强大的分类器。

adaboost原理代码

import numpy as np
from sklearn.ensemble import AdaBoostClassifier
from sklearn import tree
import  matplotlib.pyplot as plt
#创建数据集
x=np.arange(10).reshape((-1,1))
y=np.array([1,1,1,-1,-1,-1,1,1,1,-1])
print(y)

ada=AdaBoostClassifier(n_estimators=3,algorithm="SAMME")
ada.fit(x,y)
b=ada.estimators_
print(b)

#画图
plt.figure(figsize=(9,6))
tree.plot_tree(ada[0])
plt.savefig("./adaboosttree1.png")

y_1=ada[0].predict(x)
print(ada[0].pr