理论--集成算法-随机森林笔记（简）

以下内容笔记出自‘跟着迪哥学python数据分析与机器学习实战’，外加个人整理添加，仅供个人复习使用。

---

随机森林RandomForest

集成算法中bagging的典型算法

特点：
（1）并联思想，同时创建多个模型，相互不影响，使用相同参数，只是输入不同；
（2）样本随机采样和特征随机采样，保证不同基础模型的输入样本与输入特征是不同的，每一棵树是个性的，提高模型泛化能力；
（3）基础模型组合，分类任务重，求众数；回归任务中，求平均值。

特征重要性

特征重要性考察每一个特征的重要程度，集成算法会综合考虑所有模型，如果一个特征在大部分基础树模型中都被使用且靠近根节点，说明比较重要（基础树模型会优先选择最优价值特征）。