图解机器学习-bagging-boosting

代码 https://github.com/px528/AdaboostExample

粗略解释:https://blog.csdn.net/px_528/article/details/72963977

大佬的课:https://www.youtube.com/watch?v=UHBmv7qCey4

推导过程:统计学习方法-李航-137页开始

以上完成就能入门adaboost 当然还有各种boost模型 

虽然提供了所有的资料,但是还是要把总结经验写一下:

梳理一下算法的整体过程:

第一步,给初始数据分配权值w1i (1代表第一轮次,i代表第几个数据的权值).

第二步,找到第i个弱分类器的最小损失--在正负类别之间切割是有效测试,在同类样本中切割是无效测试.找到判误率最小的e

第三步:计算该分类器在整体分类过程中说话的权重

第四步:更新权值:原则分类错误的样本权值会被增大,分类正确的样本权值会被减少

公式:6.034老师给出了更简单的推导,原始公式就不写了,直接写最简单的更新权值公式

分类正确的和为 1-e   则对分类正确样本新的权值就是 wi*(0.5/(1-e))

分类错误的和为e,则对分类错误的样本的新的权值就是wi*(0.5/e)

最后进行n次循环一直到满足要求的精度或者循环次数结束为止

上面更新权值的简便公式的推导excellent!