机器学习随机森林乳腺癌调参

最新推荐文章于 2024-04-27 01:45:32 发布
最新推荐文章于 2024-04-27 01:45:32 发布
阅读量249 收藏 2
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_34910948/article/details/107952470
版权

泛化误差测试集上表现糟糕，泛化程度不够，误差大， 模型复杂度，模型太复杂过拟合
当模型太复杂，模型就会过拟合，泛化能力就不够，所以泛化误差大。当模型太简单，
模型就会欠拟合，拟合能力 就不够，所以误差也会大。只有当模型的复杂度刚刚好的才能够达到泛化误差小的目标。

1:导库

from sklearn.datasets import load_breast_cancer
from sklearn.ensemble import RandomForestClassifier
from sklearn.model_selection import GridSearchCV
from sklearn.model_selection import cross_val_score
import matplotlib.pyplot as plt
import pandas as pd
import numpy as np

1.1 引入时间time模块计算各个测试花费时间

import time

starttime = time.time()
endtime = time.time()
dtime = endtime - starttime

1.2 加载数据集

data=load_breast_cancer()
data.data.shape

(569, 30)

data.target.shape

(569,)

1.3 简单建模，查看未进行调参时候的准确率，方便对比

rfc=RandomForestClassifier(n_estimators=100,random_state=12)
score_pre=cross_val_score(rfc,data.data,data.target,cv=10).mean()
score_pre

0.9578634085213033

import time

2 随机森林调整

2.1 第一步：无论如何先来调n_estimators n_estimators 它的影响权重最大，使用学习曲线，找到n_estimators取值平稳的范围

# 花费时间42.656270265579224
a=time.time()
# s_time=time.time()
scorel=[]
for i in range(0,200,10):
    rfc=RandomForestClassifier(n_estimators=i+1
                              ,random_state=12
                              ,n_jobs=-1)
    score_pre=cross_val_score(rfc,data.data,data.target,cv=10).mean()
    scorel.append(score_pre)
b=time.time()
sum_time=b-a
print(sum_time)

42.656270265579224

print(max(scorel),(scorel.index(max(scorel))*10)+1)

0.9648809523809524 81

plt.plot(range(0,200,10),scorel)

在这里插入图片描述

2.2确定好的范围进一步细化学习曲线，找到最好的点

  • 确定为80，左右各去5，在这个范围取值
a=time.time()
# s_time=time.time()
scorel=[]
for i in range(75,85):
    rfc=RandomForestClassifier(n_estimators=i+1
                              ,random_state=12
                              ,n_jobs=-1)
    score_pre=cross_val_score(rfc,data.data,data.target,cv=10).mean()
    scorel.append(score_pre)
b=time.time()
sum_time=b-a
print(sum_time)

20.36061978340149

plt.plot(range(75,85),scorel)

[<matplotlib.lines.Line2D at 0x125cdbb5a08>]

在这里插入图片描述

max(scorel)

0.9666353383458647

scorel.index(max(scorel))+75
#最好取值78

78

为网格搜索做准备，书写网格搜索的参数

2.3开始按照参数对模型整体准确率的影响程度进行调参，首先调整max_depth

param_grid = {'max_depth':np.arange(1, 20, 1)}

rfc=RandomForestClassifier(n_estimators=78
                           ,random_state=12)

GS=GridSearchCV(rfc,param_grid,cv=10)
GS.fit(data.data,data.target)


GridSearchCV(cv=10, error_score=nan,
             estimator=RandomForestClassifier(bootstrap=True, ccp_alpha=0.0,
                                              class_weight=None,
                                              criterion='gini', max_depth=None,
                                              max_features='auto',
                                              max_leaf_nodes=None,
                                              max_samples=None,
                                              min_impurity_decrease=0.0,
                                              min_impurity_split=None,
                                              min_samples_leaf=1,
                                              min_samples_split=2,
                                              min_weight_fraction_leaf=0.0,
                                              n_estimators=85, n_jobs=-1,
                                              oob_score=False, random_state=12,
                                              verbose=0, warm_start=False),
             iid='deprecated', n_jobs=None,
             param_grid={'max_depth': array([ 1,  2,  3,  4,  5,  6,  7,  8,  9, 10, 11, 12, 13, 14, 15, 16, 17,
       18, 19])},
             pre_dispatch='2*n_jobs', refit=True, return_train_score=False,
             scoring=None, verbose=0)

GS.best_params_

{'max_depth': 9}

GS.best_score_

0.9648809523809524

2.4 调整max_features

  • max_features是唯一一个即能够将模型往左（低方差高偏差）推，也能够将模型往右（高方差低偏差）推的参数
  • max_features的默认小值是sqrt(n_features)，使用这个值作为调参范围的最小值。
a
param_grid={"max_features":np.arange(5,30,1)}
rfc=RandomForestClassifier(n_estimators=78
                           ,random_state=12)
GS=GridSearchCV(rfc,param_grid,cv=10)
GS.fit(data.data,data.target)
b
print(b-a)

20.36061978340149

GS.best_score_

0.968421052631579

2.5 调整min_samples_leaf

param_grid={'min_samples_leaf':np.arange(1, 1+10, 1)}
rfc=RandomForestClassifier(n_estimators=78
                           ,random_state=12)
GS=GridSearchCV(rfc,param_grid,cv=10)
GS.fit(data.data,data.target)
b

1597195996.2337263

GS.best_score_

0.9631265664160402

2.6 尝试min_samples_split

param_grid={'min_samples_split':np.arange(2, 2+20, 1)}
a
rfc=RandomForestClassifier(n_estimators=78
                           ,random_state=12)
GS=GridSearchCV(rfc,param_grid,cv=10)
GS.fit(data.data,data.target)
b

1597195996.2337263

GS.best_score_

0.9649122807017545

GS.score


<bound method BaseSearchCV.score of GridSearchCV(cv=10, error_score=nan,
             estimator=RandomForestClassifier(bootstrap=True, ccp_alpha=0.0,
                                              class_weight=None,
                                              criterion='gini', max_depth=None,
                                              max_features='auto',
                                              max_leaf_nodes=None,
                                              max_samples=None,
                                              min_impurity_decrease=0.0,
                                              min_impurity_split=None,
                                              min_samples_leaf=1,
                                              min_samples_split=2,
                                              min_weight_fraction_leaf=0.0,
                                              n_estimators=78, n_jobs=None,
                                              oob_score=False, random_state=12,
                                              verbose=0, warm_start=False),
             iid='deprecated', n_jobs=None,
             param_grid={'min_samples_split': array([ 2,  3,  4,  5,  6,  7,  8,  9, 10, 11, 12, 13, 14, 15, 16, 17, 18,
       19, 20, 21])},
             pre_dispatch='2*n_jobs', refit=True, return_train_score=False,
             scoring=None, verbose=0)>

2.7 调参 criterion

param_grid = {'criterion':['gini', 'entropy']}
a
rfc=RandomForestClassifier(n_estimators=78
                           ,random_state=12)
GS=GridSearchCV(rfc,param_grid,cv=10)
GS.fit(data.data,data.target)
b

1597195996.2337263

GS.best_score_

0.9631265664160402

3 调整完毕，总结最好参数

rfc=RandomForestClassifier(n_estimators=78
                           ,random_state=12)
GS.fit(data.data,data.target)

GridSearchCV(cv=10, error_score=nan,
             estimator=RandomForestClassifier(bootstrap=True, ccp_alpha=0.0,
                                              class_weight=None,
                                              criterion='gini', max_depth=None,
                                              max_features='auto',
                                              max_leaf_nodes=None,
                                              max_samples=None,
                                              min_impurity_decrease=0.0,
                                              min_impurity_split=None,
                                              min_samples_leaf=1,
                                              min_samples_split=2,
                                              min_weight_fraction_leaf=0.0,
                                              n_estimators=78, n_jobs=None,
                                              oob_score=False, random_state=12,
                                              verbose=0, warm_start=False),
             iid='deprecated', n_jobs=None,
             param_grid={'criterion': ['gini', 'entropy']},
             pre_dispatch='2*n_jobs', refit=True, return_train_score=False,
             scoring=None, verbose=0)

GS.best_score_

0.9631265664160402
  • 菜菜的sklearn学习得到 https://live.bilibili.com/12582510
qq_34910948
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
机器学习中调参、调优思想以随机森林乳腺癌数据集为例子
weixin_43776305的博客
05-19 679
文章目录正确的调参思路泛化误差随机森林各个参数对模型在未知数据上评估性能的影响示例---随机森林在sklearn乳腺癌数据集上的调参从sklearn中导入相关的包导入数据，不经过调参直接看模型准确度初步画学习曲线进一步画出学习曲线调影响第二大的参数---max_depth通过分析可以知道要增加复杂度，有针对性的调参---max_features不死心的调参(说不定效果很好呢)----criterion最终结果总结 通过画学习曲线，网格搜索，我们可以探索到调参边缘(代价可能是训练一次模型可能要跑很久很久)。现
python机器学习之随机森林案例——在乳腺癌数据的调参
sjjsaaaa的博客
11-26 3130
在乳腺癌数据的调参 首先导入所用到的库 from sklearn.datasets import load_breast_cancer#数据 from sklearn.ensemble import RandomForestClassifier#分类器 from sklearn.model_selection import GridSearchCV#网格搜索 from sklearn.model_selection import cross_val_score#交叉验证 import matplotlib.
随机森林在乳腺癌数据上的调参
weixin_44544263的博客
05-27 239
from sklearn.datasets import load_breast_cancer from sklearn.ensemble import RandomForestClassifier from sklearn.model_selection import GridSearchCV from sklearn.model_selection import cross_val_score import matplotlib.pyplot as plt import pandas as pd imp
【机器学习实战】随机森林在乳腺癌数据上的调参
在热爱技术的路上一直前行。
05-29 181
1. 数据集 特征值 目标值 共569个样本，30维特征。 2.代码实现 2.1 未调参时的代码及结果 # 获取数据集 data = load_breast_cancer() # 建模 rfc = RandomForestClassifier(n_estimators=100, random_state=90) # 交叉验证 rfc_score = cross_val_score(rfc, data.data, data.target, cv=10).mean() rfc_score 结果：
【机器学习笔记】【随机森林】【乳腺癌数据上的调参】
芊樱烛渊的博客
09-14 3804
调整完毕，总结出模型的最佳参数score提升效果#调参后的参数减去调参前的参数在整个调参过程之中，我们首先调整了n_estimators（无论如何都请先走这一步），然后调整max_depth，通过max_depth产生的结果，来判断模型位于复杂度-泛化误差图像的哪一边，从而选择我们应该调整的参数和调参的方向。如果感到困惑，也可以画很多学习曲线来观察参数会如何影响我们的准确率，选取学习曲线中单调的部分来放大研究（如同我们对n_estimators做的）。
CART决策树+随机森林对乳腺癌数据进行分类+实验代码+结果分析
11-25
最详细的随机森林讲解，超赞
《菜菜的机器学习sklearn课堂》随机森林应用泛化误差调参实例
最新发布
2401_83977689的博客
04-27 286
面试是跳槽涨薪最直接有效的方式，马上金九银十来了，各位做好面试造飞机，工作拧螺丝的准备了吗？掌握了这些知识点，面试时在候选人中又可以夺目不少，暴击9999点。机会都是留给有准备的人，只有充足的准备，才可能让自己可以在候选人中脱颖而出。侧,我们需要的是更高的复杂度,因此我们应该把max_features往更大的方向调整,可用的特征越多,模型才会越复杂。max_features的默认最小值是sqrt(n_features),因此我们使用这个值作为调参范围的最小值。“”"
随机森林|乳腺癌数据集
Lemon_ZL的博客
05-09 3730
随机森林（Random Forest）其实也算Bagging的一种，但是有一点区别是随机森林在构建决策树的时候，会随机选择样本特征中的一部分来进行划分。由于随机森林的二重随机性，它具有良好的学习性能。以随机森林为代表的装袋法的训练过程旨在降低方差，即降低模型复杂度 1.不调参的分数0.9666 from sklearn.datasets import load_breast_cancer from sklearn.ensemble import RandomForestClassifier...
案例1:随机森林在乳腺癌数据上调参
weixin_51871375的博客
10-14 223
随机森林在乳腺癌上调参 1.导包 from sklearn.datasets import load_breast_cancer from sklearn.ensemble import RandomForestClassifier from sklearn.model_selection import GridSearchCV from sklearn.model_selection import cross_val_score import matplotlib.pyplot as plt import
matlab30 基于随机森林思想的组合分类器设计——乳腺癌诊断.rar
11-29
matlab30 基于随机森林思想的组合分类器设计——乳腺癌诊断
随机森林用于分类matlab代码
02-18
根据随机森林的原理实现的matlab代码，里面有非常详细的注释，几乎每行都有，针对分类问题，可以运行，可以根据需要，修改到自己的算法中。
随机森林分类matlab代码
01-14
随机森林的分类中matlab代码，直接可以用，很方便，该算法可以用来机器学习分类研究。
基于matlab的Iris、乳腺癌数据集的模式识别分类算法
01-19
基于matlab的Iris、乳腺癌数据集的模式识别分类算法，含有 遗传算法+SVM、isodata、感知器算法、LMSE、神经网络等算法的实现代码，用于聚类效果良好，是模式识别大作业的参考资料 网盘链接：https://pan.baidu.com/s/1gQ_BHGWOGpmYv86gyv6EuQ 提取码：xigi
m基于WOA优化的SVM乳腺癌细胞和正常细胞分类识别算法matlab仿真,对比BP网络,SVM,PSO+SVM
fpga/matlab/simulink算法仿真工程
01-15 703
支持向量机（support vector machines, SVM）是二分类算法，所谓二分类即把具有多个特性（属性）的数据分为两类，目前主流机器学习算法中，神经网络等其他机器学习模型已经能很好完成二分类、多分类，学习和研究SVM，理解SVM背后丰富算法知识，对以后研究其他算法大有裨益；实例中样本明显的分为两类，黑色实心点不妨为类别一，空心圆点可命名为类别二，在实际应用中会把类别数值化，比如类别一用1表示，类别二用-1表示，称数值化后的类别为标签。多项式核函数可以实现将低维的输入空间映射到高纬的特征空间，
基于随机森林的乳腺癌诊断
配电网和matlab的博客
08-22 983
随机森林算法由Leo Breiman和 Adele Cutler提出,该算法结合了Breimans的“Boot-strap aggregating”思想和Ho的“"random subspace”方法。其实质是一个包含多个决策树的分类器,这些决策树的形成采用了随机的方法,因此也叫做随机决策树,随机森林中的树之间是没有关联的。当测试数据进人随机森林时,其实就是让每一棵决策树进行分类,最后取所有决策树中分类结果最多的那类为最终的结果。
【机器学习】三大树模型实战乳腺癌预测分类
fengdu78的博客
06-07 3591
公众号：尤而小屋作者：Peter编辑：Peter今天给大家带来一篇新的UCI数据集建模的文章。本文从数据的探索分析出发，经过特征工程和样本均衡性处理，使用决策树、随机森林、梯度提升树对一份女性乳腺癌的数据集进行分析和预测建模。关键词：相关性、决策树、随机森林、降维、独热码、乳腺癌数据集 数据是来自UCI官网，很老的一份数据，主要是用于分类问题，可以自行下载学习https:...
机器学习实训（2）——分类（补充）
WHJ226的博客
09-06 1365
我们不只是看10个交叉验证折叠的平均准确率，让我们绘制每个模型的所有10个得分，以及一个突出显示分数上下四分之一的盒子图，以及显示得分程度。从结果来看，Age, Cabin以及Embarked属性中的数据是缺失的，我们可以忽略 Cabin ，暂时先不管，先处理其他的。现在我们有了一个很好的预处理管道，它可以提取原始数据并输出数值输入特征，我们可以将这些特征输入到任何我们想要的机器学习模型中。但是，测试数据不包含标签：我们的目标是使用训练数据训练出最好的模型，然后根据测试数据进行预测。
随机森林与CART决策树在乳腺癌分类中的应用及实验解析
该资源主要涉及使用CART决策树和随机森林进行乳腺癌数据分类的实践，同时提供了详细的随机森林和决策树理论知识，包括信息熵、基尼系数等概念。 正文: 在机器学习领域，随机森林（Random Forest）是一种广泛应用的...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值