Adaboosting算法原理代码实现

最新推荐文章于 2024-06-18 13:45:01 发布

xswl0

最新推荐文章于 2024-06-18 13:45:01 发布

阅读量1.5k

点赞数

文章标签：机器学习数据挖掘 python 算法

本文链接：https://blog.csdn.net/xswl0/article/details/105206706

版权

这篇博客详细介绍了Adaboost算法的工作原理，从数据生成到集成算法的全过程。作者通过手动计算与代码实现相结合的方式，展示了如何训练弱分类器，并逐步调整样本权重以优化模型性能。最终，博主比较了手动预测与模型预测的结果，强调了Adaboost算法在提升分类效果上的应用。

摘要由CSDN通过智能技术生成

导包

from sklearn.ensemble import AdaBoostClassifier
import numpy as np
from sklearn import tree

生成数据

X = np.arange(10).reshape(-1,1)
y = np.array([1,1,1,-1,-1,-1,1,1,1,-1])

声明算法，进行训练

ada = AdaBoostClassifier(algorithm='SAMME',n_estimators=3)
ada.fit(X,y)

第一棵树划分

_ = tree.plot_tree(ada[0])
ada[0].predict(X)

第一棵树划分手动计算

# 样本的初始权重，还没有开始进行训练，所以，所有样本权重一样？
w1 = np.full(shape = 10,fill_value=0.1)
# 样本中10个数据，划分，0到1之间(threshold阈值0.5)划分；1到2之间（1.5）划分……
# 如果阈值0.5，构建树，结果：
y1 = np.array([1,-1,-1,-1,-1,-1,-1,-1,-1,-1]) #预测结果
e1 = ((y != y1)*d1).sum()#误差
print('方式一',e1)
e1 = (y != y1).mean()
print('方式二',e1)
# 如果阈值1.5，构建树，结果：
y2 = np.array([1,1