机器学习之集成学习（五）boosting分类底层实现

boosting分类

• 该算法中有两个权重需要注意（带权学习）
• 一个是样本权重，分类正确的样本权重降低，分类错误的样本权证增加，以备下一轮训练更加关注分类错误的样本
• 一个是学习器的权重，分类效果好，误差率低的学习器权重加大，分类效果不好的学习器权重降低

数学思路

• 初始化样本权重，w = 1/m
• 计算误差率，E = sum(w[分类错误的权重])
• 通过误差率给予学习器一个新的权重，误差率低，权重高使用数据公式：
  a = (1/2) * log((1-E)/E)
  将 log((1-E)/E)展开是log(1/E)
• 通过学习器的权重更新每个样本的权重，前提是加一个规范因子，保证每次更新的权重w相加为1
• 规范因子：z = sum(we^(-a*y*h))。公式中y为实际类别，h为预测类别。若h与y相同则括号中只剩-a，we^-a，权重相应减小，若y和h不同，则w*e^a，权重相应增大。规范因子是权重和。
• 更新样本权重
  w = w*e^(-a*y*h)/z
• 最后将所有学习器带权组合：res = sum(ai * hi)

代码实现

import pandas as pd
import numpy as np
from sklearn.tree import DecisionTreeClassifier
df = pd.DataFrame([[0,1],[1,1],[2