sklearn之adaboost

集成学习(Esemable learning)就是将若干个弱分类器通过一定的策略组合以后产生一个强分类器。弱分类器(也称基分类器)就是比随机猜测效果稍微好一点的分类器，而强分类器的分类效果要号很多。强和弱都是相对概念。
目前集成学习算法主要有两个流派：bagging(装袋),boosting(提升)
bagging主要是通过降低弱分类器的方差，代表方法是随机森立。是根据均匀概率分布从样本集中重复抽样，每个新数据集与原始数据集大小相等。由于是有放回的随机抽样，新数据集中会有重复值，而原始数据集中的某些值根本就没有出现在新数据集中。根据有放回的随机抽样构造n个数据集，对它们分别进行训练得到n个弱分类器，再根据弱分类器的结果，采用一定的组合策略得到最后的强分类器。
boosting是一个迭代的过程，通过自适应的改变训练样本的分布，使得弱分类器聚焦到很难分类的样本上。它的做法是给每一个训练样本赋予一个权重，在每一次分类结束时自动调整权重。
组合策略
1、平均法
对于弱分类器的输出进行平均得到最终的预测输出。最简单的就是算术平均，若有权重，则加上权重
2、投票法
对于分类问题，通常使用投票法。
最简单的是相对多数，即少数服从多数
稍微复杂的是绝对多数，即票数要过半
更为复杂的是加权投票，即每个弱分类器的票数乘以权重后求和得到最终票数
3、学习法
平均法与投票法相对简单但学习误差大。学习法的代表是stacking,将训练集弱分类器的结果作为输入，将训练集的输出作为输出，重新训练一个学习器得到最终结果。
算法步骤