以下内容笔记出自‘跟着迪哥学python数据分析与机器学习实战’,外加个人整理添加,仅供个人复习使用。
随机森林RandomForest
集成算法中bagging的典型算法
特点:
(1)并联思想,同时创建多个模型,相互不影响,使用相同参数,只是输入不同;
(2)样本随机采样和特征随机采样,保证不同基础模型的输入样本与输入特征是不同的,每一棵树是个性的,提高模型泛化能力;
(3)基础模型组合,分类任务重,求众数;回归任务中,求平均值。
特征重要性
特征重要性考察每一个特征的重要程度,集成算法会综合考虑所有模型,如果一个特征在大部分基础树模型中都被使用且靠近根节点,说明比较重要(基础树模型会优先选择最优价值特征)。