机器学习：特征重要性分析之：Permutation Importance

一『梦』枕边人

已于 2023-10-09 10:47:59 修改

阅读量1.1k

点赞数 2

文章标签：机器学习人工智能

于 2023-10-09 10:37:31 首次发布

本文链接：https://blog.csdn.net/yumeng049/article/details/133695301

版权

本文介绍了PermutationImportance，一种在模型训练后计算特征重要性的独立方法。通过随机排列特征值，观察模型预测效果变化，判断特征对模型的影响。以breast_cancer数据集为例，展示了如何使用RandomForestClassifier并可视化重要性结果。

摘要由CSDN通过智能技术生成

Permutation Importance:排列重要性

Permutation Importance 特点

Permutation Importance 提供了一个和模型无关的计算特征重要性的方法，他是在模型训练之后，对特征重要性进行计算

Permutation Importance 排列重要性计算思路：

选择一个特征
在数据集上对该特征的所有值进行随机排列
利用模型计算新的预测结果
比较新旧结果，如果新旧结果的差异不那么大，说明该特征对模型的影响较小，即该特征的重要性较低；如果新旧结果的差异性显著，说明该特征对模型的影响较大，即该特征的重要性较大

例子：数据集：breast_cancer 数据集：一共有30个特征，569条数据集

from sklearn.datasets import load_breast_cancer
from sklearn.ensemble import RandomForesrClassifier
from sklearn.model_selection import train_test_split
from sklearn.inspection import permutation_importance
import matplotlib.pyplot as plt

cancer = load_breast_cancer() #导入数据
X_train,X_test,Y_train,Y_test = train_test_split(cancer.data,cancer.target,random_state =100)
rf = RandomForestClassfier(n_estimators=100,random_state=1)
rf.fit(X_train,Y_train)
baseline = rf.score(X_test,Y_test)
result = permutation_importance(rf,X_test,Y_test,n_repeats=10,random_state=1,scoring='accuracy')
importances = result.importances_mean
# 画图
plt.bar(range(len(importances)), importances)
plt.xlabel('Feature Index')
plt.ylabel('Permutation Importance')
plt.show()
``

## 运行结果
![重要性下降的越多，说明该特征越重要](https://img-blog.csdnimg.cn/a485ed8c1fc44dfba204959176b21d24.jpeg#pic_center)