随机森林进阶 以python_sklearn为工具

已于 2022-08-31 11:53:09 修改
阅读量2.6k 收藏 16
点赞数 2
分类专栏： 001 文章标签： python 随机森林 sklearn 机器学习 人工智能
于 2022-08-31 10:43:57 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_72800769/article/details/126618245
版权

随机森林进阶 以python_sklearn为工具

文章目录

python 随机森林进阶案例，从获取数据开始，讲一个完整的故事。
（博主使用的开发工具是jupyter notebook，如果您使用的是其他开发工具，个别地方可能需要略有改动。）

1. 获取数据

首先导包，获取数据，并查看数据详情。

import pandas as pd

# 读取数据
df = pd.read_csv("data.csv")
df.info()
df.head()

请添加图片描述

2. 数据可视化

# 构造x轴：日期
dates = pd.PeriodIndex(year=df["year"],month=df["month"],day=df["day"],freq="D")   # 注意：PeriodIndex类型不能直接画图
dates = dates.to_timestamp()  # 所以，需转为DatetimeIndex
dates

# 可视化
from matplotlib import pyplot as plt
fig,ax = plt.subplots(2,2,figsize=(15,10))

# 平均最高气温
ax[0,0].plot(dates,df["average"])
ax[0,0].set_xlabel("")
ax[0,0].set_ylabel("Temperature (F)")
ax[0,0].set_title("Historical Avg Max Temp")

# 风速
ax[0,1].plot(dates,df["ws_1"],"r-")
ax[0,1].set_xlabel("")
ax[0,1].set_ylabel("Wind Speed(mph)")
ax[0,1].set_title("Prior Wind Speed")

# 降水
ax[1,0].plot(dates,df["prcp_1"],"r-")
ax[1,0].set_xlabel("Date")
ax[1,0].set_ylabel("Precipitation (in)")
ax[1,0].set_title("Prior Precipitation")

ax[1,1].plot(dates,df["snwd_1"],"ro")
ax[1,1].set_xlabel("Date")
ax[1,1].set_ylabel("Show Depth (in)")
ax[1,1].set_title("Prior Snow Depth")
plt.show()

输出图像如下图所示：
请添加图片描述

3. 提取新特征 + 可视化

从现有数据中，提取出新特征：季度。并进一步进行可视化展示其他四个特征两两之间的关系，以其其他四个特征与季度的关系。

# 构建季度特征
seasons = []

# 输出所有月份
for month in df["month"]:
    # print(month)
    
    # 判断month在哪个区间
    if month in [12,1,2]:
        seasons.append('winter')
    elif month in [3,4,5]:
        seasons.append('spring')
    elif month in [6,7,8]:
        seasons.append('summer')
    elif month in [9,10,11]:
        seasons.append('fall')
        
# 构建特征
reduced_features = df.loc[:,['temp_1','prcp_1','average','actual']]
reduced_features['season'] = seasons
reduced_features

         请添加图片描述

__

import seaborn as sns

sns.pairplot(reduced_features,hue='season',diag_kind='kde')
plt.show()

请添加图片描述

4. 构建虚拟变量

然后，将特征中的字符串类型的数据，构建成为虚拟变量。

more_df_2 = pd.get_dummies(df)
more_df_2.head(5)

请添加图片描述

5. 分割数据

在正式开始训练之前，还需要先对数据进行分割。

import numpy as np

# 标签-->ndarray
labels = np.array(more_df_2["actual"])

# 在特征中去掉标签列
df_features = more_df_2.drop("actual",axis=1)

# 获取特征名称列表
feature_name_list = list(df_features.columns)
from sklearn.model_selection import train_test_split

# 训练特征值 测试特征值 训练目标值 测试目标值
train_features,test_features,train_labels,test_labels = train_test_split(df_features,labels,test_size=0.25,random_state=42)

print("训练集特征：",train_features.shape)
print("训练集目标：",train_labels.shape)
print("测试集特征：",test_features.shape)
print("测试集目标：",test_labels.shape)

            请添加图片描述

6. 训练模型并逐步优化

6.1 选择部分特征

只选择temp1和average特征，训练模型代码如下：

# 导入算法
from sklearn.ensemble import RandomForestRegressor

# 训练随机森林模型，为1000棵树
rf_most_important = RandomForestRegressor(n_estimators=1000,random_state=42)

# 拿到 temp_1 与 average 特征
important_train_features = train_features.loc[:,["temp_1","average"]]
important_test_features = test_features.loc[:,["temp_1","average"]]

# 重新训练模型：训练集的特征，训练集的目标
rf_most_important.fit(important_train_features,train_labels)

# 预测结果：测试集特征
predictions = rf_most_important.predict(important_test_features)

# 使用mape评估结果
errors = abs(predictions - test_labels)
mape = np.mean(100 * (errors / test_labels))
print('mape:', mape)

错误率输出如下：

mape: 6.923808151443066

6.2 选择全部特征

若选择全部特征：

from sklearn.ensemble import RandomForestRegressor

# 建立模型
rf_exp = RandomForestRegressor(n_estimators=1000,random_state=42)
# 训练模型
rf_exp.fit(train_features,train_labels)
# 进行预测
predictions = rf_exp.predict(test_features)
# 评估
# 预测值-真实值
errors = abs(predictions - test_labels)

# 使用mape评估结果
mape = np.mean(100 * errors / test_labels)
print('mape:', mape)

可以看到训练出模型的错误率有所下降：

mape: 6.256602487487005

6.3 筛选重要特征

# 提取特征的重要性，返回一个数组
importances = rf_exp.feature_importances_.tolist()

# 但是需要保留两位小数，则需使用列表推导式
feature_importances = [(feature,round(importance,2)) for feature,importance in zip(feature_name_list,importances)]

# 特征重要性降序排列，参数1:需进行排序的列表，参数2:指定排序键(按照谁来排序)
feature_importances = sorted(feature_importances,key=lambda x:x[1],reverse=True)
feature_importances

# 打印输出
print(["特征：{:20}    特征重要性：{}".format(feature_importance[0],feature_importance[1]) for feature_importance in feature_importances])

        请添加图片描述

# 获取特征值
sorted_importances = [importance[1] for importance in feature_importances]
# 获取重要性
sorted_features = [importance[0] for importance in feature_importances]
# 累计重要性
cumulative_importances = np.cumsum(sorted_importances)
# 绘制折线图
plt.plot(sorted_features,cumulative_importances,"g-")
# 绘制红色水平虚线: y=0.95
plt.hlines(y=0.95,xmin=0,xmax=len(sorted_importances),color="r",linestyles="dashed")
plt.xticks(rotation=90)

# Y轴和名字
plt.xlabel("features")
plt.xlabel("cumulative importance")
plt.title("cumulative importance")
plt.grid()
plt.show()

    请添加图片描述

使用重要性排前五的特征进行训练，

# 训练随机森林模型，为1000棵树
rf_most_important = RandomForestRegressor(n_estimators=1000,random_state=42)

# 获取该5个特征的训练数据集
names = ["temp_1","average","ws_1","temp_2","friend"]
important_train_features = train_features.loc[:,names]
important_test_features = test_features.loc[:,names]

# 输出数据形状
print("重要特征训练集形状：",important_train_features.shape)
print("重要特征测试集形状：",important_test_features.shape)

# 重新训练模型：训练集的特征，训练集的目标
rf_most_important.fit(important_train_features,train_labels)

# 预测结果：测试集特征
predictions = rf_most_important.predict(important_test_features)

# 使用mape评估结果
errors = abs(predictions - test_labels)
mape = np.mean(100 * (errors / test_labels))
print('mape:', mape)

输出结果如下：

重要特征训练集形状： (1643, 5)
重要特征测试集形状： (548, 5)
mape: 6.548844579568184
错误率又有所上升，看来还不是最优的。

7.时间效率比较

开发算法的过程中，时间效率往往也是需要纳入考虑的。通过以下代码可以实现对时间效率比较。
在使用所有特征的情况下：

import time

all_features_time = []


# 计算一次可能不太准确，所以计算10次取平均
for i in range(10):
    # 记录初始时间
    start_time = time.time()

    # 训练模型
    rf_exp.fit(train_features,train_labels)
    # 进行预测
    predictions = rf_exp.predict(test_features)
    
    # 记录结束时间
    end_time = time.time()
    all_features_time.append(end_time - start_time)
    
    
all_features_time = np.mean(all_features_time)
print("使用所有特征时建模与测试的平均时间消耗：",round(all_features_time),'秒')

使用所有特征时建模与测试的平均时间消耗： 7 秒

使用部分特征，以只使用重要特征为例：

import time

all_features_time = []


# 计算一次可能不太准确，所以计算10次取平均
for i in range(10):
    # 记录初始时间
    start_time = time.time()
    
    # 只使用重要特征
    rf_most_important.fit(important_train_features,train_labels)
    # 预测结果：测试集特征
    predictions = rf_most_important.predict(important_test_features)

    # 记录结束时间
    end_time = time.time()
    all_features_time.append(end_time - start_time)
    
    
all_features_time = np.mean(all_features_time)
print("使用部分特征时建模与测试的平均时间消耗：",round(all_features_time),'秒')

使用部分特征时建模与测试的平均时间消耗： 5 秒

8. 进一步优化参数

为了进一步选出最佳参数，可以以列表或一维数组的形式将每个参数准备多个，匹配为字典后传入RandomizedSearchCV接口。以选出最佳参数。

from sklearn.model_selection import RandomizedSearchCV

# 决策树的个数可以是 [100,200,300, ...,1000]
n_estimator = np.arange(100,1100,100).tolist()

# 决策树的深度可以是 [1,2,...,10]
max_depth = np.arange(1,11).tolist()

# 每个叶子节点的最小的样本数可以是[2,4,8]
min_samples_leaf = [2,4,8]

# 以key:value键值对的形式存储为字典
random_grid = {
    "n_estimators":n_estimator,
    "max_depth":max_depth,
    "min_samples_leaf":min_samples_leaf
}

# 创建决策树回归模型
rf = RandomForestRegressor()
# 指定随机参数
rf_Random = RandomizedSearchCV(estimator=rf,param_distributions=random_grid,n_iter=10)
# 训练模型
rf_Random.fit(train_features,train_labels)

print(rf_Random.best_params_)

# 预测结果：测试集特征
predictions = rf_Random.predict(test_features)

# 使用mape评估结果
errors = abs(predictions - test_labels)
mape = np.mean(100 * (errors / test_labels))
print('mape:', mape)

输出结果如下：

mape: 6.156625778253245

模型的错误率再一次降低了。

当然，这并不意味着这就是最好的，如果继续测试其他随机参数，错误率还可能会更低。

欢杰h
关注
专栏目录
2024年最全Python实现颜值检测！_sklearn 颜值评分模型训练过程(3)
2401_84585372的博客
05-01 221
train_model.py(想直接用我模型的请忽略此步)getLandmarks.py文件中第13行。
随机森林工具包
11-02
很好用的工具包，大家可以自行下载，如有不懂可以私下交流
python sklearn 随机森林
廷益_飞鸟的博客
08-08 615
python sklearn 随机森林 文件下载地址 链接: https://pan.baidu.com/s/1dAnxc-6EaP9sUfyXtnUy7A 提取码: 9pf8 """ 随机森林 """ import numpy as np import sklearn.utils as su import sklearn.ensemble as se import matplotlib.pyplot as mp import sklearn.metrics as sm def train_da
随机森林工具箱
06-11
随机森林工具箱的下载，使用方法为直接添加到相应目录下即可无需其他任何编译过程
Python机器学习之sklearn随机森林
柳小葱的博客
09-27 3274
1.随机森林是什么？ 随机森林是一个集成工具，它使用观测数据的子集和变量的子集来建立一个决策树。 它建立多个这样的决策树，然后将他们合并在一起以获得更准确和稳定的预测。（个人理解就是建立很多决策树，然后根据决策树的结果来判断哪个分类更好选哪个） 2.随机森林API ...
randomforest.zip_randomforest_网格搜索_随机森林_随机森林Python_随机森林调参
07-15
Python中实现随机森林最常用的库是`sklearn`，特别是`sklearn.ensemble.RandomForestClassifier`和`sklearn.ensemble.RandomForestRegressor`这两个类。它们分别用于分类和回归任务。在这个例子中，我们将使用`...
python-a_splitsgz_机器学习python_letsef_决策树_python决策树与随机森林_
09-29
总之，Python中的决策树和随机森林是机器学习实践中不可或缺的工具，它们的强大功能和易用性使得它们在各种数据挖掘和预测任务中都有出色的表现。通过不断学习和实践，你可以掌握这些算法，从而提升你的数据分析能力...
Python实现的以决策树为基准学习器的随机森林，从输入到输出完整的程序
08-22
本项目以Python语言实现了随机森林算法，其中包含了两个核心的.py文件：`decisionTree.py`和`randomForest.py`。 `decisionTree.py`文件是决策树的实现。决策树是一种基于树形结构进行预测的模型，它通过对特征的...
使用sklearn实现机器学习的算法，包括了线性回归、岭回归、逻辑回归、朴素贝叶斯、决策树、随机森林+python源代码
最新发布
09-02
使用sklearn实现机器学习的算法，包括了线性回归、岭回归、逻辑回归、朴素贝叶斯、决策树、随机森林 - 不懂运行，下载完可以私聊问，可远程教学 该资源内项目源码是个人的毕设，代码都测试ok，都是运行成功后才上传...
Random Forest 随机森林工具箱
12-01
matlab随机森林random forest工具箱Windows-Precompiled-RF_MexStandalone-v0.02-随机森林工具包 可直接使用 用于分类和聚类 只要1积分 用于交流
随机森林工具箱及自动化编译脚本（包含tdm-gcc编译器）
01-13
自动化编译随机森林工具箱，直接点击自动配置.bat即可。如果遇到错误，点击安装tdm-gcc-5.1.0-3编译器，并按照https://blog.csdn.net/catherine627/article/details/70472848中的内容设置环境变量。
MATLAN随机森林工具箱安装包
01-27
随机森林工具箱安装包
python之sklearn-分类算法-2.7 随机森林
TFATS的博客
08-25 509
一，什么是集成学习方法 集成学习通过建立几个模型组合的来解决单一预测问题。它的工作原理是生成多个分类器/模型，各自独立地学习和作出预测。这些预测最后结合成组合预测，因此优于任何一个单分类的做出预测。 二，什么是随机森林 在机器学习中，随机森林是一个包含多个决策树的分类器，并且其输出的类别是由个别树输出的类别的众数而定。 例如, 如果你训练了5个树, 其中有4个树的结果是True, 1个数的结果是False, 那么最终投票结果就是True。 三，随机森林原理过程 学习算法根据下列算法而建造每棵树： 用N
机器学习之RandomForest(随机森林算法)
Maple__Boy
09-29 3342
本文主要目的是通过一段及其简单的小程序来快速学习python 中sklearn的RandomForest这一函数的基本操作和使用，注意不是用python纯粹从头到尾自己构建RandomForest，既然sklearn提供了现成的我们直接拿来用就可以了，当然其原理十分重要，下面最简单介绍： 集成学习是将多个模型进行组合来解决单一的预测问题。它的原理是生成多个分类器模型，各自独立地学习并作出预测。 这些预测最后结合起来得到预测结果，因此和单独分类器的结果相比，结果一样或更好。 bagging就是一种集成学习用来
随机森林-sklearn.ensemble.RandomForestRegressor
热门推荐
NOT_GUY的博客
08-22 1万+
随机森林回归： class sklearn.ensemble.RandomForestRegressor(n_estimators=10, criterion=’mse’, max_depth=None,min_samples_split=2, min_samples_leaf=1, min_weight_fraction_leaf=0.0, max_features=’auto’, max_l
随机森林在sklearn中的实现
momokofly的博客
03-15 5902
随机森林 1 概述 1.1 集成算法概述 集成学习本身不是单独的机器学习算法，而是通过在数据上构建多个模型，集成所有模型的建模结果。 集成算法的目标：集成算法会考虑多个评估器的建模结果，汇总之后得到一个综合的结果，以此来获取比单个模型更好的回归或分类表现。 多个模型集成成为的模型叫做集成评估器（ensemble estimator），组成集成评估器的每个模型都叫做基评估器（base estimator）。通常来说，有三类集成算法：装袋法（Bagging）、提升法（Boosting）和stacking。 B
随机森林回归 sklearn.ensemble.RandomForestRegressor
GitzLiu
08-22 9458
随机森林回归：随机森林是一种目标估计，通过对数据集上的部分样本形成一个分类决策树，并使用averaging去提高预测准确率和控制过拟合发生。 class sklearn.ensemble.RandomForestRegressor(n_estimators=10, criterion=’mse’, max_depth=None,min_samples_split=2, min_samples_l...
机器学习进阶：sklearn到深度学习实战
该资源是一份关于AI人工智能的教程，主要涵盖了机器学习和深度学习的基础知识，特别是针对day02的部分，详细讲解了sklearn库的使用，包括kNN（K-最近邻）算法、朴素贝叶斯算法、决策树以及随机森林。教程通过101页的...
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

欢杰h

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值