不得不说,想出adaboost的人是个天才,是个数学家,将几个弱分类组合成强分类器,其中最常用的就是组合器的加权求和,其中加权求和的每个弱分类的权重都是与弱分类的优劣有关,当弱分类器分类效果不好时对应的权重就小,那么这样的话 可以把权重作为分类错误率的单调递减函数。弱分类器分类效果越不好,对应的错误率越高。从而权重越低,从这个意义上来看的话,这种方式类似于一种变相的投票机制,弱分类器的效果越好,得到的票数(权重)越大,反之亦然。再就是弱分类器的设计,每一次弱分类器的设计都是上次弱分类器的分错的样本按照错误率的某种关系加大分错样本的比重,这样每次分类器设计的时候会加大上次分错样本的比,可以看作某种意义上的随机重采样,分错样本的比例会加大,这样如果再次分错的话,错误率会下降会多,这个分类器的比重就会低,最后组合各个分类器得到的效果会比较好。
关于adaboost的个人理解
最新推荐文章于 2022-12-05 14:10:36 发布