Random Forest 是Bagging算法的进化版,也就是说,它的思想仍然是bagging,但是进行了独有的改进。
bagging+CART决策树=随机森林
首先,RF使用了CART决策树作为弱学习器;
第二,在使用决策树的基础上,RF对决策树的建立做了改进,对于普通的决策树,我们会在节点上所有的n个样本特征中选择一个最优的特征来做决策树的左右子树划分,但是RF通过随机选择节点上的一部分样本特征,这个数字小于n,这样进一步增强了模型的泛化能力。
除了上面两点,RF和普通的bagging算法没有什么不同。