随机森林算法的基本核心思想

本文介绍了随机森林算法的基本思想,包括Bagging、CART决策树和OOB(Out Of Bag)误差评估。随机森林通过随机抽取特征和样本,构建多个决策树并进行集成,有效降低过拟合风险,同时具备并行计算和特征选择的优势。
摘要由CSDN通过智能技术生成

摘要:随机森林(Random Forest,简称RF)是Bagging技巧的一个扩展变体。RF在以决策树为基学习器构建Bagging集成的基础上,进一步字决策树的训练过程中一如了随机属性选择。随机森林算法在与其他机器学习算法的比较中,往往在故障诊断有卓越表现,同时在可解释性上有很优秀的表现。
前言:本文对随机森林算法进行总结概括,以CART决策树为背景,构建随机森林,并且解析OOB,将随机森林算法与传统的算法相比较,还将解释随机森林如何进行特征选择,最后将阐述其基本核心思想,以及优劣。
方法说明:结合林轩田老师的课程+sklearn中的数据进行实战来检验+刘峤老师提供的课件+周志华《机器学习》
正文:

  1. 随机森林的朴素思想
    Random Forest = Bagging + 完全长成CART决策树
    关于Bagging:可以简单理解为有放回的抽样。(从袋子中抽样N个样本,重复M次)往往会重复采样很多次,以期望达到一个减少方差的目的。
    关于完全长成CART决策树:通过给定的数据来形成一颗二叉树,每个叶子节点代表一个决策结果,借助基尼指数来表示纯度进行分支特征选择,可以看作是在数据样本点的分布图上进行横竖的刀切割。而完全长成的决策树很容易趋于过拟合。
Def RandomForest(Data):
	for t=1,2,3…,T:
    	Dt=从Data中抽样N′个数据
    	gt=DecisionTree(Dt)
    return G=Uniform({gt})

上表简单地解释了随机森林算法的最朴素地思想。其中DecisionTree代表形成一个完全长成CART决策

评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值