AdaBoost

最新推荐文章于 2022-03-27 17:22:34 发布

baihaisheng

最新推荐文章于 2022-03-27 17:22:34 发布

阅读量178

点赞数

分类专栏：机器学习文章标签：机器学习

本文链接：https://blog.csdn.net/qq_41128383/article/details/104706404

版权

8 篇文章 0 订阅

订阅专栏

举例如下：
数据集共有10条数据，根据x的输入得到的y可以分类两类，即y=1与y=-1。我们每一轮使用最简单的决策树来构造基分类器，也就是每轮设定一个阈值θ，只要x<θx<θ，就判定为正类(y=1)，x>θx>θ就判定为负类(y=-1)。

x	0	1	2	3	4	5	6	7	8	9
y	1	1	1	-1	-1	-1	1	1	1	-1

第一步：初始化训练数据权重相等
D₁=(0.1,0.1,0.1,0.1,0.1,0.1,0.1,0.1,0.1,0.1)
第二步：选择一个误差率最小的弱分类器作为第一个基分类器
取θ为0.5，1.5，2.5，…，8.5来对x进行分类，有两种分类方法：
x<θ时分为正类，x>θ时分为负类，分类错误率对应 ϵ_t¹
x>θ时分为正类，x<θ时分为负类，分类错误率对应ϵ_t² 经过计算得：

错误率	0.5	1.5	2.5	3.5	4.5	5.5	6.5	7.5	8.5
ϵ_t¹	0.5	0.4	0.3	0.5	0.5	0.6	0.5	0.4	0.3
ϵ_t²	0.5	0.6	0.7	0.6	0.5	0.4	0.5	0.6	0.7

最终要选择一个令 ϵ_t¹ ϵ_t²取得最小值的θ与分类方法

在权值分布为D₁的训练数据上，从上述计算可知阈值v取2.5时分类误差率最低，故基本分类器为：
在这里插入图片描述