python实现随机森林的特征变量重要性排序

带我去滑雪

已于 2024-03-18 20:08:10 修改

阅读量3.9k

点赞数 6

分类专栏：机器学习之python 文章标签： python 随机森林机器学习

于 2023-07-23 12:18:10 首次发布

本文链接：https://blog.csdn.net/qq_45856698/article/details/131877970

版权

机器学习之python 专栏收录该内容

32 篇文章 20 订阅

订阅专栏

大家好，我是带我去滑雪！

随机森林的特征变量重要性排序在特征选择和特征分析中具有广泛的用途。它可以用来识别哪些特征对目标变量的预测最为重要，从而帮助我们理解数据中的关键特征和影响因素。特征变量重要性排序的一些常见用途如下：

特征选择：特征变量重要性排序可以用作特征选择的指标。通过保留排在前面的重要特征，我们可以减少特征空间的维度，简化模型并降低过拟合的风险。这有助于提高模型的解释能力和泛化能力。
特征分析：通过特征变量重要性排序，我们可以了解哪些特征对目标变量的预测起到了关键作用。这可以帮助我们更好地理解数据，并找出对预测具有最大影响的特征。这些信息可以用于指导进一步的特征工程，或者为业务决策提供有价值的见解。
模型调优：特征变量重要性排序可以帮助我们评估和比较不同模型的性能。通过观察模型中的特征变量重要性，我们可以辨别模型中的错误或不必要的特征，进而进行模型调优。例如，我们可以尝试删除排在较低位置的不重要特征，以优化模型的准确性和效率。
特征衍生：特征变量重要性排序还可以指导特征衍生的过程。通过观察排在前面的重要特征，我们可以推断出可能的特征组合或衍生特征。这有助于发现新的特征组合或变换方式，进一步改进模型的性能。

本期将使用python逐步实现随机森林的特征变量重要性排序。

1、导入相关模块与数据

import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
import seaborn as sns
from sklearn import preprocessing
from sklearn.preprocessing import StandardScaler
from sklearn.model_selection import KFold,StratifiedKFold
from sklearn.model_selection import GridSearchCV
from sklearn.ensemble import RandomForestRegressor
from sklearn.model_selection import train_test_split
from sklearn.metrics import mean_squared_error
from sklearn.metrics import mean_absolute_error
from sklearn.metrics import r2_score
get_ipython().run_line_magic('matplotlib', 'inline')
plt.rcParams['font.sans-serif'] = ['SimHei']
plt.rcParams['axes.unicode_minus'] = False
from IPython.core.interactiveshell import InteractiveShell
InteractiveShell.ast_node_interactivity = 'all'
import warnings
import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
import seaborn as sns
import datetime
%matplotlib inline
plt.rcParams['font.sans-serif'] = ['KaiTi'] #中文
plt.rcParams['axes.unicode_minus'] = False #负号
get_ipython().run_line_magic('matplotlib', 'inline')
plt.rcParams['font.sans-serif'] = ['SimHei']
plt.rcParams['axes.unicode_minus'] = False
import warnings
import pandas as pd
import matplotlib.pyplot as plt
import seaborn as sns
import networkx as nx
plt.rcParams['font.sans-serif'] = ['KaiTi']
plt.rcParams['axes.unicode_minus'] = False
from sklearn.linear_model import LinearRegression
from sklearn.linear_model import ElasticNet
from sklearn.neighbors import KNeighborsRegressor
from sklearn.tree import DecisionTreeRegressor
from sklearn.ensemble import RandomForestRegressor
from sklearn.ensemble import GradientBoostingRegressor
from xgboost.sklearn import XGBRegressor
from lightgbm import LGBMRegressor
from sklearn.neural_network import MLPRegressor
data=pd.read_csv('E:/工作/硕士/博客/博客粉丝问题/data.csv')
data=data.iloc[0:1516,]
data

2、划分特征变量、响应变量，并进行标准化

X=data.iloc[:,0:9]
y=data.iloc[:,9]
X_train, X_test, y_train, y_test =train_test_split(X,y,test_size=0.3,random_state = 0)
#可以检查一下划分后数据形状
X_train.shape,X_test.shape, y_train.shape, y_test.shape
#数据标准化
from sklearn.preprocessing import StandardScaler
scaler = StandardScaler()
scaler.fit(X_train)
X_train_s = scaler.transform(X_train)
X_test_s = scaler.transform(X_test)
print('训练数据形状：')
print(X_train_s.shape,y_train.shape)
print('测试数据形状：')
(X_test_s.shape,y_test.shape)

输出结果：
训练数据形状：
(1061, 9) (1061,)
测试数据形状：
((455, 9), (455,))

3、训练模型获取变量重要性得分

RF = RandomForestRegressor(n_estimators = 100, max_depth = 5, random_state = 1234)
# 训练模型
RF.fit(X_train_s, y_train)
# 获取特征重要性得分
feature_importances = RF.feature_importances_
# 创建特征名列表
feature_names = list(X.columns)
# 创建一个DataFrame，包含特征名和其重要性得分
feature_importances_df = pd.DataFrame({'feature': feature_names, 'importance': feature_importances})
# 对特征重要性得分进行排序
feature_importances_df = feature_importances_df.sort_values('importance', ascending=False)

# 颜色映射
colors = plt.cm.viridis(np.linspace(0, 1, len(feature_names)))

4、可视化特征重要性排序

# 可视化特征重要性
fig, ax = plt.subplots(figsize=(10, 6))
ax.barh(feature_importances_df['feature'], feature_importances_df['importance'], color=colors)
ax.invert_yaxis() # 翻转y轴，使得最大的特征在最上面
ax.set_xlabel('特征重要性', fontsize=12) # 图形的x标签
ax.set_title('随机森林特征重要性可视化',fontsize=16)
for i, v in enumerate(feature_importances_df['importance']):
ax.text(v + 0.01, i, str(round(v, 3)), va='center', fontname='Times New Roman', fontsize=10)
# 设置图形样式
# plt.style.use('default')
ax.spines['top'].set_visible(False) # 去掉上边框
ax.spines['right'].set_visible(False) # 去掉右边框
# ax.spines['left'].set_linewidth(0.5)#左边框粗细
# ax.spines['bottom'].set_linewidth(0.5)#下边框粗细
# ax.tick_params(width=0.5)
# ax.set_facecolor('white')#背景色为白色
# ax.grid(False)#关闭内部网格线

# 保存图形
plt.savefig("squares.png",
bbox_inches ="tight",
pad_inches = 1,
transparent = True,
facecolor ="w",
edgecolor ='w',
dpi=300,
orientation ='landscape')