Python机器学习实战-特征重要性分析方法（1）：排列重要性（附源码和实现效果）

最新推荐文章于 2024-07-17 16:58:43 发布

数据杂坛

最新推荐文章于 2024-07-17 16:58:43 发布

阅读量1.2k

点赞数

分类专栏：特征工程文章标签： python 机器学习人工智能

本文链接：https://blog.csdn.net/sinat_41858359/article/details/133133204

版权

特征工程专栏收录该内容

28 篇文章 7 订阅

订阅专栏

本文介绍了如何使用PermutationImportance方法评估特征在随机森林分类器中的重要性，通过乳腺癌数据集实例演示了代码实现过程，强调了数据挖掘中特征选择的重要性。作者背景是数据挖掘研究者，分享了结合科研实践的Python机器学习案例。

摘要由CSDN通过智能技术生成

实现功能

排列重要性 PermutationImportance：该方法会随机排列每个特征的值，然后监控模型性能下降的程度。如果获得了更大的下降意味着特征更重要

实现代码


from sklearn.datasets import load_breast_cancer
from sklearn.ensemble import RandomForestClassifier
from sklearn.inspection import permutation_importance
from sklearn.model_selection import train_test_split
import matplotlib.pyplot as plt

cancer = load_breast_cancer()

X_train, X_test, y_train, y_test = train_test_split(cancer.data, cancer.target, random_state=1)

rf = RandomForestClassifier(n_estimators=100, random_state=1)
rf.fit(X_train, y_train)

baseline = rf.score(X_test, y_test)
result = permutation_importance(rf, X_test, y_test, n_repeats=10, random_state=1, scoring='accuracy')

importances = result.importances_mean

# Visualize permutation importances
plt.style.use('ggplot')
plt.figure(figsize=(10, 8))
plt.bar(range(len(importances)), importances)
plt.xlabel('Feature Index')
plt.ylabel('Permutation Importance')
plt.show()

实现效果

本人读研期间发表5篇SCI数据挖掘相关论文，现在某研究院从事数据挖掘相关科研工作，对数据挖掘有一定认知和理解，会结合自身科研实践经历不定期分享关于python机器学习、深度学习、数据挖掘基础知识与案例。

致力于只做原创，以最简单的方式理解和学习，关注我一起交流成长。

邀请三个朋友关注V订阅号：数据杂坛，即可在后台联系我获取相关数据集和源码，送有关数据分析、数据挖掘、机器学习、深度学习相关的电子书籍。