机器学习算法-随机森林(RF)

随着大数据和人工智能热潮的相继而来，促使机器学习近些年也火的一塌糊涂。机器学习方法已在生产、科研和生活中有着广泛应用，而集成学习则是机器学习的首要热门方向。集成学习是使用一系列学习器进行学习，并使用某种规则把各个学习结果进行整合从而获得比单个学习器更好的学习效果的一种机器学习方法。集成学习有两个分支，一个是Boosting派系，另一个是Bagging流派，二者的区别主要如下：

Boosting–假定原始样本集中有$n$个训练样本，且服从均匀分布。基于此先训练一个模型，接下来通过提高那些在前一轮被弱分类器分错样例的权值，减小前一轮分对样本的权值，误分的样本在后续将受到更多的关注。再不断基于新的分布训练新的弱分类器。最后再用加法模型将弱分类器进行线性组合，即增大错误率小的分类器的权值，同时减小错误率较大的分类器的权值。其代表算法为Adaboost。已在博客机器学习算法-Adaboost中介绍，感兴趣可以查阅。
Bagging–假定原始样本集中有$n$个训练样本，每轮从原始样本集中使用有放回重复抽样（Bootstraping）的方法抽取$m$（$m<n$）个训练样本，共进行$k$轮抽取，得到 k