机器学习——随机森林算法randomForest——原理及python实现

本文介绍了随机森林算法的原理和Python实现步骤,包括数据预处理、特征选择、树的构建等关键环节。通过从原始数据集中有放回地抽样创建多个子集,并在每个子集上构建决策树,最终形成森林。算法通过比较不同特征的基尼系数来决定数据的划分,从而达到预测和分类的目的。
摘要由CSDN通过智能技术生成

参考:

http://blog.csdn.net/nieson2012/article/details/51279332

http://www.cnblogs.com/wentingtu/archive/2011/12/22/2297405.html

http://www.cnblogs.com/pinard/p/6156009.html

算法描述:

1、加载数据(训练数据和测试数据),假设训练集总数为N个。

2、去除掉数据集中的某些特征项(无用的特征)。

3、将预测标签从数据集中暂时去除。

4、设定每次选取的特征数目,比如每个样本有M个特征,每次我们只用2个特征。

4、循环创建每棵树:

每次从M个特征里随机选2个特征,并将标签重新加进来

从训练集中有放回的抽取N个样本,并且这个N个样本只包含3个特征,即创建了一个新的数据子集。

用创建的数据子集创建一棵树:

对数据子集进行切分:

先得到数据子集的初始基尼系数。

对于2个选取的特征:

对于特征里的每种取值:

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值