AdaBoost

机器学习实战 第四周
AdaBoost
我的笔记是根据博客和视频来记录的。
一、集成方法
顾名思义，集成方法就是通过组合不同的的学习器来完成学习任务，将弱可学习分类器转换为强可学习分类器。集成方法主要包括Bagging和Boosting两种方法，Bagging和Boosting都是将已有的分类或回归算法通过一定方式组合起来，形成一个性能更加强大的分类器。
1.Bagging
其主要思想为
（1）从原始样本集中抽取训练集。每轮从原始样本集中使用Bootstraping的方法抽取n个训练样本（在训练集中，有些样本可能被多次抽取到，而有些样本可能一次都没有被抽中）。共进行k轮抽取，得到k个训练集。（k个训练集之间是相互独立的）
（2）每次使用一个训练集得到一个模型，k个训练集共得到k个模型。（注：这里并没有具体的分类算法或回归方法，我们可以根据具体问题采用不同的分类或回归方法，如决策树、感知器等）
（3）对分类问题：将上步得到的k个模型采用投票的方式得到分类结果；对回归问题，计算上述模型的均值作为最后的结果。（所有模型的重要性相同）
流程图我引用了博客里的 示图

2.Boosting
主要思路是采用重赋权（re-weighting）法迭代地训练基分类器，思想：
（1）每一轮的训练数据样本赋予一个权重，并且每一轮样