定义:随机森林是一个包含多个决策树的分类器, 并且其输出的类别是由个别树输出的类别的众数而定
建树过程:
随机性:1) 数据的随机性选取2)待选特征的随机选取
待选特征:左决策树,右随机森林
分裂特征:分裂特征(ID3算法,C4.5算法,CART算法等等)
特征权重:破坏所有样本某个特征数据(0.1,0.2…),比较误差,误差相差很大,所以该特征重要
优点:1)能够处理高纬度的数据,并且不用做特征选择
2)训练完后,能给出特征重要性,且可进行特征重要性可视化展示,便于分析
3)它包含一个好方法可以估计遗失的资料,并且,如果有很大一部分的资料遗失,仍可以维持准确度
4)学习过程快速
缺点:1)随机森林已经被证明在某些噪音较大的分类或回归问题上会过拟
2)对于有不同取值的属性的数据,取值划分较多的属性会对随机森林产生更大的影响,所以随机森林在这种数据上产出的属性权值是不可信的。
转载本博笔记须在文章明显处注明原文的链接和作者信息