Python机器学习--集成学习算法--随机森林算法

随机森林算法类型

随机森林算法:属于集成学习算法 ,通俗点讲,就是将多颗决策树集合起来,就变成了随机森林。
随机森林包含了回归森林和分类森林,因此随机森林既可以解决分类问题,可以解决回归问题

集成学习算法

集成学习算法是通过训练多个学习器,然后把这些学习器组合起来,以达到更好的预测性能的目的。

集成学习算法的分类

  • Bagging:弱学习器的生成没有先后顺序,可以进行并行训练,如果是分类任务,则预测结果为多个弱学习器的预测结果取众数,如果是回归任务,则预测结果会取多个学习器的平均值。
  • Boosting:弱学习器的生成有先后顺序,后一个弱学习器是之前学习器的基础上训练的,预测结果为多个弱学习器预测结果之和。

随机森林原理

bagging + 决策树=随机森林
随机森林就是属于集成学习中Bagging类的算法,弱学习器类型全部都是决策树,很多树组合在一起就变成了森林。
bootstrap:随机有放回抽样,如果不进行随机抽样,每棵树的训练集都是一样的,最终训练出来的树分类结果将是完全一样的

随机森林构造过程

随机森林需要构建多棵树,而每一颗树的构建都需要遵循以下原则:

  1. 从原始训练集(假设包含N个样本)随机有放回的抽取一个子集(n个样本,n<N)作为森林中某一个决策树的训练数据集
  2. 基于该子集,从原始特征(假设有M个特征)中随机选择m(m<M)个特征,然后运用这m个特征来确定最佳的分裂点。在决策树的生成过程中,m的值是保持不变的;
  3. 重复以上两步K次,即建立了K棵决策树。注意,这些树不需要进行剪枝。
  4. 对于每一个测试样本,每棵决策树都会给出预测结果,基于简单的投票机制或者平均方法,给出最终预测结果。

随机森林特点

  • 算法的性能好

  • 算法的时间慢

    以时间和空间 换 效果

随机森林基于sklearn实现(回归森林与分类森林)

from sklearn.ensemble import RandomForestClassifter    # 随机森林分类树
from sklearn.ensemble import RandomForestRegressor    # 随机森林回归树
# 实例化
rf = RandomForestClassifter()
#参数:n_estimators:建立多少棵树,默认是100
# random_state=1:随机种子

# 拟合
rf.fit(X_train, y_train)

# 查看准确率
score = rf.score(X_test, y_test)
print('准确率:', score)

# 查看训练集的准确率,用来判断是否过拟合
print('训练集准确率:', rf.score(X_train, y_train))

# 查看第几棵树
export_graphviz(rf[0],	# 查看第几棵树,只能一棵一棵看
			   out_file='文件名.dot'
			   )
# 查看输的方法
"""
1、在编辑器命令窗口进入代码所在文件夹下
2、输入dot -Tpng 文件名.dot -o 文件名.png
3、在该目录下查看生成png文件即可
"""
  • 1
    点赞
  • 19
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

轻窕

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值