adboost 中弱分类器权重的公式理解

网上关于adboost公式的描述很多,但是关于弱分类器权重的公式,为什么要用这个公式,今天详解。

关于这个公式 

 

看图:类似于sigmoid

当弱分类器错误比例小于0.5,权重增加,如果大于0.5,权重减少(一半一半来分),同时ln函数还能放大比例,这种非线性对于大量数据处理有好处

当然你可以自定义。

 

Adaboost分类器是一种集成学习算法,基于分类器的集成,通过迭代训练一系列分类器来构建一个强分类器。其计算公式如下: 1. 初始化训练样本的权重:对于有N个训练样本的训练集D,初始时,每个样本的权重Wi=1/N,即每个样本的权重相等。 2. 迭代训练分类器:对于每次迭代t=1,2,...,T,T为迭代次数,进行以下操作: a. 训练一个分类器:根据当前的样本权重,使用一个分类器基于特定特征进行训练。分类器可以是任意一种分类算法,比如决策树,朴素贝叶斯等。 b. 计算错误率:根据训练得到的分类器,计算分类错误率εt。错误率的计算方式为对于误分类的样本,将其权重相加,即εt = ∑Wi * 错误分类指示符。 c. 更新样本权重:根据分类器的分类效果,更新每个样本的权重。被分类错误的样本权重会增加,被分类正确的样本权重会减小。权重更新公式为Wi(j+1) = Wi(j) * (1/2)^(1+错误分类指示符) / sum(W)。 d. 根据样本权重调整分类器权重:每个分类器权重αt = log((1-εt)/εt)。 3. 构建强分类器:将所有步骤2中得到的分类器按照其权重进行加权组合得到最终的强分类器。对于输入的新样本,使用强分类器进行分类预测。 通过迭代训练一系列的分类器,并将它们进行加权组合,Adaboost算法能够在每次迭代中重点关注被错误分类的样本,以提高整体的分类准确率。
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值