TASK1__随机森林算法梳理

集成学习
集成学习是一种通过构建并结合多个学习器来完成学习任务的方法。要获得好的集成，个体学习器应“好而不同”。其中个体学习器的性能应该至少不差于弱学习器，同时不同的学习器之间应该具有差异。
弱学习器常指泛化性能略优于随机猜测的学习器。例如在二分类问题上精确度略高于百分之五十的分类器。
个体学习器
由一个现有的学习算法从训练数据中产生的学习器。
Boosting
Boosting是一族可将弱学习器提升为强学习器的算法。这族算法的工作机制是：先从初始训练集训练出一个基，再根据基学习器的表现对训练样本分布进行调整，使得先前基学习器做错的样本在后续受到更多的关注，然后基于调整后的样本分布训练下一个基学习器；如此重复进行，直至基学习器数目达到指定的值T，最终将这T个基学习器进行加权结合。
AdaBoosting 算法是Boosting算法族中最著名的代表，设f为真实函数，yi∈{-1，+1}。AdaBoosting算法将最终学习的模型H(x)用多个学习器的线性组合来表示

AdaBoosting算法的具体过程如图所示

AdaBoosting是一种迭代算法，其核心思想是针对同一个训练集训练不同的分类器，然后把这些分类器集成起来，就构成了一个更强大的分类器。
在训练第一个基学习器h1的时候，