如何用Python计算特征重要性？

最新推荐文章于 2024-05-11 09:01:59 发布
最新推荐文章于 2024-05-11 09:01:59 发布
阅读量6.3k 收藏 127
点赞数 17
分类专栏： python
原文链接：https://zhuanlan.zhihu.com/p/129705831
版权

特征重要性评分是一种为输入特征评分的手段，其依据是输入特征在预测目标变量过程中的有用程度。

特征重要性有许多类型和来源，尽管有许多比较常见，比如说统计相关性得分，线性模型的部分系数，基于决策树的特征重要性和经过随机排序得到重要性得分。

特征重要性在预测建模项目中起着重要作用，包括提供对数据、模型的见解，以及如何降维和选择特征，从而提高预测模型的的效率和有效性。

在本教程中，我将会阐述用于python机器学习的特征重要性。完成本教程后，你将会知道：

  • 特征重要性在预测建模中的作用
  • 如何计算和查看来自线性模型和决策树的特征重要性
  • 如何计算和查看随机排序重要性得分

现在让我们开始吧.

教程概述

本教程分为五部分，分别是：

1.特征重要性

2.准备

2.1. 检查Scikit-Learn版本

2.2. 创建测试数据集

3.特征重要性系数

3.1. 基于线性回归系数的特征重要性

3.2. 基于Logistic回归的特征重要性

4.基于决策树的特征重要性

4.1. 基于CART的特征重要性

4.2. 基于随机森林的特征重要性

4.3. 基于XGBoost的特征重要性

5.随机排序特征重要性

5.1. 随机排序（回归）中的特征重要性

5.2. 随机排序（分类）中的特征重要性

1.特征重要性

特征重要性是一种为预测模型的输入特征评分的方法，该方法揭示了进行预测时每个特征的相对重要性。

可以为涉及预测数值的问题（称为回归）和涉及预测类别标签的问题（称为分类）计算特征重要性得分。

这些得分非常有用，可用于预测建模问题中的多种情况，例如：

  • 更好地理解数据
  • 更好地理解模型
  • 减少输入特征的数量

 

特征重要性得分可以帮助了解数据集

相对得分可以突出显示哪些特征可能与目标最相关，反之则突出哪些特征最不相关。这可以由一个领域专家解释，并且可以用作收集更多的或不同的数据的基础。

特征重要性得分可以帮助了解模型

大多数重要性得分是通过数据集拟合出的预测模型计算的。查看重要性得分可以洞悉该特定模型，以及知道在进行预测时哪些特征最重要和哪些最不重要。这是一种模型解释，适用于那些支持它的模型。

特征重要性可用于改进预测模型

可以使用的重要性得分来选择要删除的特征（最低得分）或要保留的特征（最高得分）。这是一种特征选择，可以简化正在建模的问题，加快建模过程（删除特征称为降维），在某些情况下，还可以改善模型的性能。

特征重要性得分可以被输入到包装器模型，如SelectFromModel或SelectKBest，以进行特征选择。

有许多方法和模型可以计算特征重要性得分。

也许最简单的方法是计算每个特征和目标变量之间的统计学相关系数。

在本教程中，我们将研究三种比较高级的特征重要性，即：

  • 从模型系数得知的特征重要性。
  • 决策树中的特征重要性。
  • 随机排序检验中的特征重要性。

现在让我们深入了解这三个！

2.准备

在深入学习之前，我们先确认我们的环境并准备一些测试数据集。

检查Scikit-Learn版本

首先，确认你已安装最新版本的scikit-learn库。这非常重要，因为在本教程中，我们我们研究的一些模型需要最新版的库。

您可以使用以下示例代码来查看已安装的库的版本：

  1. # check scikit-learn version
  2. import sklearn
  3. print(sklearn.__version__)

运行示例代码将会打印出库的版本。在撰写本文时，大概是version 0.22。你需要使用此版本或更高版本的scikit-learn。

  1. 0.22.1

生成测试数据集

接下来，让我们生成一些测试数据集，这些数据集可以作为基础来证明和探索特征重要性得分。每个测试问题有五个重要特征和五不重要的特征，看看哪种方法可以根据其重要性找到或区分特征可能会比较有意思。

分类数据集

我们将使用make_classification()函数创建一个用于测试的二进制分类数据集。

数据集将包含1000个实例，且包含10个输入特征，其中五个将会提供信息，其余五个是多余的。

为了确保每次运行代码时都得到相同的实例，我们将使用假随机数种子。下面列出了创建数据集的示例。

  1. # test classification dataset
  2. from sklearn.datasets import make_classification
  3. # define dataset
  4. X, y = make_classification(n_samples=1000, n_features=10, n_informative=5, n_redundant=5, random_state=1)
  5. # summarize the dataset
  6. print(X.shape, y.shape)

运行示例，创建数据集，并确保所需的样本和特征数量。

  1. (1000, 10) (1000,)

回归数据集

我们将使用make_regression()函数创建一个用于测试的回归数据集。

像分类数据集一样，回归数据集将包含1000个实例，且包含10个输入特征，其中五个将会提供信息，其余五个是多余的。

  1. # test regression dataset
  2. from sklearn.datasets import make_regression
  3. # define dataset
  4. X, y = make_regression(n_samples=1000, n_features=10, n_informative=5, random_state=1)
  5. # summarize the dataset
  6. print(X.shape, y.shape)

运行示例，创建数据集，并确保所需的样本和特征数量。

  1. (1000, 10) (1000,)

接下来，我们仔细看一下特征重要性系数。

3.特征重要性系数

线性的机器学习能够拟合出预测是输入值的加权和的模型。

案例包括线性回归，逻辑回归，和正则化的扩展案例，如岭回归和弹性网络。

所有这些算法都是找到一组要在加权求和中使用的系数，以便进行预测。这些系数可以直接用作粗略类型的特征重要性得分。

我们来仔细研究一下分类和回归中的特征重要性系数。我们将在数据集中拟合出一个模型以找到系数，然后计算每个输入特征的重要性得分，最终创建一个条形图来了解特征的相对重要性。

3.1线性回归特征重要性

我们可以在回归数据集中拟合出一个LinearRegression模型，并检索coeff_属性，该属性包含为每个输入变量（特征）找到的系数。这些系数可以为粗略特征重要性评分提供依据。该模型假设输入变量具有相同的比例或者在拟合模型之前已被按比例缩放。

下面列出了针对特征重要性的线性回归系数的完整示例。

  1. # linear regression feature importance
  2. from sklearn.datasets import make_regression
  3. from sklearn.linear_model import LinearRegression
  4. from matplotlib import pyplot
  5. # define dataset
  6. X, y = make_regression(n_samples=1000, n_features=10, n_informative=5, random_state=1)
  7. # define the model
  8. model = LinearRegression()
  9. # fit the model
  10. model.fit(X, y)
  11. # get importance
  12. importance = model.coef_
  13. # summarize feature importance
  14. for i,v in enumerate(importance):
  15. print('Feature: %0d, Score: %.5f' % (i,v))
  16. # plot feature importance
  17. pyplot.bar([x for x in range(len(importance))], importance)
  18. pyplot.show()

运行示例，拟合模型，然后输出每个特征的系数值。

得分表明，模型找到了五个重要特征，并用零标记了剩下的特征，实际上，将他们从模型中去除了。

  1. Feature: 0, Score: 0.00000
  2. Feature: 1, Score: 12.44483
  3. Feature: 2, Score: -0.00000
  4. Feature: 3, Score: -0.00000
  5. Feature: 4, Score: 93.32225
  6. Feature: 5, Score: 86.50811
  7. Feature: 6, Score: 26.74607
  8. Feature: 7, Score: 3.28535
  9. Feature: 8, Score: -0.00000
  10. Feature: 9, Score: 0.00000

然后为特征重要性得分创建条形图。

 

这种方法也可以用于岭回归和弹性网络模型。

3.2 Logistic回归特征重要性

就像线性回归模型一样，我们也可以在回归数据集中拟合出一个LogisticRegression模型，并检索coeff_属性。这些系数可以为粗略特征重要性评分提供依据。该模型假设输入变量具有相同的比例或者在拟合模型之前已被按比例缩放。

下面列出了针对特征重要性的Logistic回归系数的完整示例。

  1. # logistic regression for feature importance
  2. from sklearn.datasets import make_classification
  3. from sklearn.linear_model import LogisticRegression
  4. from matplotlib import pyplot
  5. # define dataset
  6. X, y = make_classification(n_samples=1000, n_features=10, n_informative=5, n_redundant=5, random_state=1)
  7. # define the model
  8. model = LogisticRegression()
  9. # fit the model
  10. model.fit(X, y)
  11. # get importance
  12. importance = model.coef_[0]
  13. # summarize feature importance
  14. for i,v in enumerate(importance):
  15. print('Feature: %0d, Score: %.5f' % (i,v))
  16. # plot feature importance
  17. pyplot.bar([x for x in range(len(importance))], importance)
  18. pyplot.show()

运行示例，拟合模型，然后输出每个特征的系数值。

回想一下，这是有关0和1的分类问题。请注意系数既可以为正，也可以为负。正数表示预测类别1的特征，而负数表示预测类别0的特征。

从这些结果，至少从我所知道的结果中，无法清晰的确定出重要和不重要特征。

  1. Feature: 0, Score: 0.16320
  2. Feature: 1, Score: -0.64301
  3. Feature: 2, Score: 0.48497
  4. Feature: 3, Score: -0.46190
  5. Feature: 4, Score: 0.18432
  6. Feature: 5, Score: -0.11978
  7. Feature: 6, Score: -0.40602
  8. Feature: 7, Score: 0.03772
  9. Feature: 8, Score: -0.51785
  10. Feature: 9, Score: 0.26540

然后为特征重要性得分创建条形图。

 

现在我们已经看到了将系数用作重要性得分的示例，接下来让我们看向基于决策树的重要性得分的常见示例

4.基于决策树的特征重要性

决策树算法，比如说classification and regression trees（CART）根据Gini系数或熵的减少来提供重要性得分。这个方法也可用于随机森林和梯度提升算法。

OK.现在让我们看看相应的运行示例。

4.1基于CART的特征重要性

对于在scikit-learn中实现的特征重要性，我们可以将CART算法用于DecisionTreeRegressor和DecisionTreeClassifier类

拟合后，模型提供feature_importances_属性，可以访问该属性以检索每个输入特征的相对重要性得分。

让我们看一个用于回归和分类的示例。

基于CART（回归）的特征重要性

下面列出了拟合DecisionTreeRegressor和计算特征重要性得分的完整示例。

  1. # decision tree for feature importance on a regression problem
  2. from sklearn.datasets import make_regression
  3. from sklearn.tree import DecisionTreeRegressor
  4. from matplotlib import pyplot
  5. # define dataset
  6. X, y = make_regression(n_samples=1000, n_features=10, n_informative=5, random_state=1)
  7. # define the model
  8. model = DecisionTreeRegressor()
  9. # fit the model
  10. model.fit(X, y)
  11. # get importance
  12. importance = model.feature_importances_
  13. # summarize feature importance
  14. for i,v in enumerate(importance):
  15. print('Feature: %0d, Score: %.5f' % (i,v))
  16. # plot feature importance
  17. pyplot.bar([x for x in range(len(importance))], importance)
  18. pyplot.show()

运行示例，拟合模型，然后输出每个特征的系数值。

结果表明，这十个特征中的三个可能对预测很重要。

  1. Feature: 0, Score: 0.00294
  2. Feature: 1, Score: 0.00502
  3. Feature: 2, Score: 0.00318
  4. Feature: 3, Score: 0.00151
  5. Feature: 4, Score: 0.51648
  6. Feature: 5, Score: 0.43814
  7. Feature: 6, Score: 0.02723
  8. Feature: 7, Score: 0.00200
  9. Feature: 8, Score: 0.00244
  10. Feature: 9, Score: 0.00106

然后为特征重要性得分创建条形图。

基于CART（分类）的特征重要性

下面列出了拟合DecisionTreeClassifier和计算特征重要性得分的完整示例

  1. # decision tree for feature importance on a classification problem
  2. from sklearn.datasets import make_classification
  3. from sklearn.tree import DecisionTreeClassifier
  4. from matplotlib import pyplot
  5. # define dataset
  6. X, y = make_classification(n_samples=1000, n_features=10, n_informative=5, n_redundant=5, random_state=1)
  7. # define the model
  8. model = DecisionTreeClassifier()
  9. # fit the model
  10. model.fit(X, y)
  11. # get importance
  12. importance = model.feature_importances_
  13. # summarize feature importance
  14. for i,v in enumerate(importance):
  15. print('Feature: %0d, Score: %.5f' % (i,v))
  16. # plot feature importance
  17. pyplot.bar([x for x in range(len(importance))], importance)
  18. pyplot.show()

运行示例，拟合模型，然后输出每个特征的系数值。

结果表明，这十个特征中的四个可能对预测很重要。

  1. Feature: 0, Score: 0.01486
  2. Feature: 1, Score: 0.01029
  3. Feature: 2, Score: 0.18347
  4. Feature: 3, Score: 0.30295
  5. Feature: 4, Score: 0.08124
  6. Feature: 5, Score: 0.00600
  7. Feature: 6, Score: 0.19646
  8. Feature: 7, Score: 0.02908
  9. Feature: 8, Score: 0.12820
  10. Feature: 9, Score: 0.04745

然后为特征重要性得分创建条形图。

4.2随机森林中的特征重要性

对于在scikit-learn中实现的特征重要性，我们可以将Random Forest算法用于DecisionTreeRegressor和DecisionTreeClassifier类。

拟合后，模型提供feature_importances_属性，可以访问该属性以检索每个输入特征的相对重要性得分。

这种方法也可以与装袋和极端随机树（extraTree）算法一起使用。

让我们看一个用于回归和分类的示例。

随机森林（回归）中的特征重要性

下面列出了拟合RandomForestRegressor和计算特征重要性得分的完整示例

  1. # random forest for feature importance on a regression problem
  2. from sklearn.datasets import make_regression
  3. from sklearn.ensemble import RandomForestRegressor
  4. from matplotlib import pyplot
  5. # define dataset
  6. X, y = make_regression(n_samples=1000, n_features=10, n_informative=5, random_state=1)
  7. # define the model
  8. model = RandomForestRegressor()
  9. # fit the model
  10. model.fit(X, y)
  11. # get importance
  12. importance = model.feature_importances_
  13. # summarize feature importance
  14. for i,v in enumerate(importance):
  15. print('Feature: %0d, Score: %.5f' % (i,v))
  16. # plot feature importance
  17. pyplot.bar([x for x in range(len(importance))], importance)
  18. pyplot.show()

运行示例，拟合模型，然后输出每个特征的系数值。

结果表明，这十个特征中的两个或三个可能对预测很重要。

  1. Feature: 0, Score: 0.00280
  2. Feature: 1, Score: 0.00545
  3. Feature: 2, Score: 0.00294
  4. Feature: 3, Score: 0.00289
  5. Feature: 4, Score: 0.52992
  6. Feature: 5, Score: 0.42046
  7. Feature: 6, Score: 0.02663
  8. Feature: 7, Score: 0.00304
  9. Feature: 8, Score: 0.00304
  10. Feature: 9, Score: 0.00283

然后为特征重要性得分创建条形图。

随机森林（分类）中的特征重要性

下面列出了拟合RandomForestClassifier和计算特征重要性得分的完整示例

  1. # random forest for feature importance on a classification problem
  2. from sklearn.datasets import make_classification
  3. from sklearn.ensemble import RandomForestClassifier
  4. from matplotlib import pyplot
  5. # define dataset
  6. X, y = make_classification(n_samples=1000, n_features=10, n_informative=5, n_redundant=5, random_state=1)
  7. # define the model
  8. model = RandomForestClassifier()
  9. # fit the model
  10. model.fit(X, y)
  11. # get importance
  12. importance = model.feature_importances_
  13. # summarize feature importance
  14. for i,v in enumerate(importance):
  15. print('Feature: %0d, Score: %.5f' % (i,v))
  16. # plot feature importance
  17. pyplot.bar([x for x in range(len(importance))], importance)
  18. pyplot.show()

运行示例，拟合模型，然后输出每个特征的系数值。

结果表明，这十个特征中的两个或三个可能对预测很重要。

  1. Feature: 0, Score: 0.06523
  2. Feature: 1, Score: 0.10737
  3. Feature: 2, Score: 0.15779
  4. Feature: 3, Score: 0.20422
  5. Feature: 4, Score: 0.08709
  6. Feature: 5, Score: 0.09948
  7. Feature: 6, Score: 0.10009
  8. Feature: 7, Score: 0.04551
  9. Feature: 8, Score: 0.08830
  10. Feature: 9, Score: 0.04493

然后为特征重要性得分创建条形图。

4.3基于XGBoost的特征重要性

XGBoost是一个库，它提供了随机梯度提升算法的高效实现。可以通过XGBRegressor和XGBClassifier类将此算法与scikit-learn一起使用。

拟合后，模型提供feature_importances_属性，可以访问该属性以检索每个输入特征的相对重要性得分。

scikit-learn还通过GradientBoostingClassifier和GradientBoostingRegressor提供了该算法，并且可以使用相同的特征选择方法

首先，安装XGBoost库，例如：

  1. sudo pip install xgboost

然后，通过检查版本号来确认该库已正确安装并且可以正常工作。

  1. # check xgboost version
  2. import xgboost
  3. print(xgboost.__version__)

运行该示例，你应该看到以下版本号或者更高版本。

  1. 0.90

有关XGBoost库的更多信息，请看：

  • XGBoost with Python

让我们看一个用于回归和分类问题的示例。

基于XGBoost（回归）的特征重要性

下面列出了拟合XGBRegressor并且计算特征重要性得分的完整示例

  1. # xgboost for feature importance on a regression problem
  2. from sklearn.datasets import make_regression
  3. from xgboost import XGBRegressor
  4. from matplotlib import pyplot
  5. # define dataset
  6. X, y = make_regression(n_samples=1000, n_features=10, n_informative=5, random_state=1)
  7. # define the model
  8. model = XGBRegressor()
  9. # fit the model
  10. model.fit(X, y)
  11. # get importance
  12. importance = model.feature_importances_
  13. # summarize feature importance
  14. for i,v in enumerate(importance):
  15. print('Feature: %0d, Score: %.5f' % (i,v))
  16. # plot feature importance
  17. pyplot.bar([x for x in range(len(importance))], importance)
  18. pyplot.show()

运行示例，拟合模型，然后输出每个特征的系数值。

结果表明，这十个特征中的两个或三个可能对预测很重要。

  1. Feature: 0, Score: 0.00060
  2. Feature: 1, Score: 0.01917
  3. Feature: 2, Score: 0.00091
  4. Feature: 3, Score: 0.00118
  5. Feature: 4, Score: 0.49380
  6. Feature: 5, Score: 0.42342
  7. Feature: 6, Score: 0.05057
  8. Feature: 7, Score: 0.00419
  9. Feature: 8, Score: 0.00124
  10. Feature: 9, Score: 0.00491

然后为特征重要性得分创建条形图。

基于XGBoost（分类）的特征重要性

下面列出了拟合XGBClassifier并且计算特征重要性得分的完整示例

  1. # xgboost for feature importance on a classification problem
  2. from sklearn.datasets import make_classification
  3. from xgboost import XGBClassifier
  4. from matplotlib import pyplot
  5. # define dataset
  6. X, y = make_classification(n_samples=1000, n_features=10, n_informative=5, n_redundant=5, random_state=1)
  7. # define the model
  8. model = XGBClassifier()
  9. # fit the model
  10. model.fit(X, y)
  11. # get importance
  12. importance = model.feature_importances_
  13. # summarize feature importance
  14. for i,v in enumerate(importance):
  15. print('Feature: %0d, Score: %.5f' % (i,v))
  16. # plot feature importance
  17. pyplot.bar([x for x in range(len(importance))], importance)
  18. pyplot.show()

运行示例，拟合模型，然后输出每个特征的系数值。

结果表明，这十个特征中有七个可能对预测很重要。

  1. Feature: 0, Score: 0.02464
  2. Feature: 1, Score: 0.08153
  3. Feature: 2, Score: 0.12516
  4. Feature: 3, Score: 0.28400
  5. Feature: 4, Score: 0.12694
  6. Feature: 5, Score: 0.10752
  7. Feature: 6, Score: 0.08624
  8. Feature: 7, Score: 0.04820
  9. Feature: 8, Score: 0.09357
  10. Feature: 9, Score: 0.02220

然后为特征重要性得分创建条形图。

5.基于随机排序的特征重要性

随机排序特征重要性（Permutation feature importance）可以计算相对重要性，与所使用的模型无关。

首先，在数据集中拟合出一个模型，比如说一个不支持本地特征重要性评分的模型。然后，尽管对数据集中的特征值进行了干扰，但仍可以使用该模型进行预测。对数据集中的每个特征进行此操作。然后，再将整个流程重新操作3、5、10或更多次。我们得到每个输入特征的平均重要性得分（以及在重复的情况下得分的分布）。

此方法可以用于回归或分类，要求选择性能指标作为重要性得分的基础，例如回归中的均方误差和分类中的准确性。

可以通过permutation_importance()函数（以模型和数据集为参数）和评分函数进行随机排序特性选择。

让我们看下这个特征选择方法，其算法并不支持特征选择，尤其是k近邻算法（ k-nearest neighbors）。

5.1随机排序（回归）特征重要性

下面列出了拟合KNeighborsRegressor并且计算特征重要性得分的完整示例。

  1. # permutation feature importance with knn for regression
  2. from sklearn.datasets import make_regression
  3. from sklearn.neighbors import KNeighborsRegressor
  4. from sklearn.inspection import permutation_importance
  5. from matplotlib import pyplot
  6. # define dataset
  7. X, y = make_regression(n_samples=1000, n_features=10, n_informative=5, random_state=1)
  8. # define the model
  9. model = KNeighborsRegressor()
  10. # fit the model
  11. model.fit(X, y)
  12. # perform permutation importance
  13. results = permutation_importance(model, X, y, scoring='neg_mean_squared_error')
  14. # get importance
  15. importance = results.importances_mean
  16. # summarize feature importance
  17. for i,v in enumerate(importance):
  18. print('Feature: %0d, Score: %.5f' % (i,v))
  19. # plot feature importance
  20. pyplot.bar([x for x in range(len(importance))], importance)
  21. pyplot.show()

运行示例，拟合模型，然后输出每个特征的系数值。

结果表明，这十个特征中的两个或三个可能对预测很重要。

  1. Feature: 0, Score: 175.52007
  2. Feature: 1, Score: 345.80170
  3. Feature: 2, Score: 126.60578
  4. Feature: 3, Score: 95.90081
  5. Feature: 4, Score: 9666.16446
  6. Feature: 5, Score: 8036.79033
  7. Feature: 6, Score: 929.58517
  8. Feature: 7, Score: 139.67416
  9. Feature: 8, Score: 132.06246
  10. Feature: 9, Score: 84.94768

然后为特征重要性得分创建条形图。

5.2随机排序（分类）特征重要性

下面列出了拟合KNeighborsClassifier并且计算特征重要性得分的完整示例。

  1. # permutation feature importance with knn for classification
  2. from sklearn.datasets import make_classification
  3. from sklearn.neighbors import KNeighborsClassifier
  4. from sklearn.inspection import permutation_importance
  5. from matplotlib import pyplot
  6. # define dataset
  7. X, y = make_classification(n_samples=1000, n_features=10, n_informative=5, n_redundant=5, random_state=1)
  8. # define the model
  9. model = KNeighborsClassifier()
  10. # fit the model
  11. model.fit(X, y)
  12. # perform permutation importance
  13. results = permutation_importance(model, X, y, scoring='accuracy')
  14. # get importance
  15. importance = results.importances_mean
  16. # summarize feature importance
  17. for i,v in enumerate(importance):
  18. print('Feature: %0d, Score: %.5f' % (i,v))
  19. # plot feature importance
  20. pyplot.bar([x for x in range(len(importance))], importance)
  21. pyplot.show()

运行示例，拟合模型，然后输出每个特征的系数值。

结果表明，这十个特征中的两个或三个可能对预测很重要。

  1. Feature: 0, Score: 0.04760
  2. Feature: 1, Score: 0.06680
  3. Feature: 2, Score: 0.05240
  4. Feature: 3, Score: 0.09300
  5. Feature: 4, Score: 0.05140
  6. Feature: 5, Score: 0.05520
  7. Feature: 6, Score: 0.07920
  8. Feature: 7, Score: 0.05560
  9. Feature: 8, Score: 0.05620
  10. Feature: 9, Score: 0.03080

然后为特征重要性得分创建条形图。

总结

在本教程中，您知道了在Python机器学习中的特征重要性得分。

具体来说，您了解到：

  • 特征重要性在预测建模问题中的作用
  • 如何从线性模型和决策树中计算和查看特征重要性
  • 如何计算和查看随机排序特征重要性得分
liuhongyue
关注
  • 17
    点赞
  • 踩
  • 127
    收藏
    觉得还不错? 一键收藏
  • 6
    评论
专栏目录
python随机森林特征重要性原理_使用Python的随机森林特征重要性图表
weixin_28954623的博客
01-13 2120
我正在使用Python中的RandomForestRegressor，我想创建一个图表来说明功能重要性的排名。这是我使用的代码：from sklearn.ensemble import RandomForestRegressorMT= pd.read_csv("MT_reduced.csv")df = MT.reset_index(drop = False)columns2 = df.column...
简介机器学习中的特征工程
deephub
08-08 4329
​ 要解决一个机器学习问题，我们不能仅仅通过将算法应用到提供的数据上。比如.fit() 。我们首先需要构建一个数据集。 将原始数据转换为数据集的任务称为特征工程。 ​ 例如，预测客户是否坚持订阅特定产品。这将有助于进一步提高产品或用户体验，还有助于业务增长。 ​ 原始数据将包含每个客户的详细信息，如位置、年龄、兴趣、在产品上花费的平均时间、客户续订订阅的次数。这些细节是数据集的特性。创建数据集的任务是从原始数据中了解有用的特性，并从对结果有影响的现有特性中创建新特性，或者操作这些特性，使它们可以用
【Python特征工程系列】排列重要性法分析特征重要性-随机森林模型为例（案例+源码）
最新发布
数据杂坛
05-11 519
排列重要性法分析特征重要性-随机森林模型为例（案例+源码）
python随机森林特征重要性_用随机森林进行特征重要性度量，筛选出来的重要特征是否只对该随机森林来说是重要的，而对其他模型不一定？...
weixin_39522486的博客
11-29 288
你的问题可以给出肯定的回答，重要性本来就是一个依赖于模型的指标，一些指标对模型A重要，但对B未必重要。举个很简单的例子，在欧式距离中，量纲很重要，数值大距离就大数值小距离就小。而在余弦夹角表示距离时，量纲不重要，因为一除就约没了，重要的是两个向量的夹角。比如：(1, 1, 1, 1)和(2, 2, 2, 2)：(2, 2, 2, 2)和(4, 4, 4, 4)：欧式距离翻倍余弦夹角不变。对CNN来...
⼿把⼿教你实现神经⽹络
黑马程序员官方博客
09-11 302
在这篇⽂章中，我们将从头开始实现⼀个简单的3层神经⽹络。假设你熟悉基本的微积分和机器学习概念，例 如：知道什么是分类和正规化。理想情况下，您还可以了解梯度下降等优化技术的⼯作原理。 但是为什么要从头开始实施神经⽹络呢？它可以帮助我们了解神经⽹络的⼯作原理，这对于设计有效模型⾄关 重要。 1.1 ⽣成数据集 这⾥我们⾸先⽣成后⾯要⽤的数据集。⽣成数据集可以使⽤scikit-learn (http:...
筛选重要特征的方法feature_importance_
浮汐潇潇
10-13 6273
排列表示： importances = model.feature_importances_ indices = np.argsort(importances)[::-1] feat_labels = X_train.columns print("Feature ranking:") # l1,l2,l3,l4 = [],[],[],[] for f in range(X_train.s...
随机森林计算指标重要性-从决策树到随机森林Python实现
04-21
随机森林计算指标重要性-从决策树到随机森林Python实现
利用Python计算KS的实例详解
09-17
本文将详细介绍如何使用Python计算KS值，并提供三种不同的实现方式。 **一、KS指标的意义** KS指标是衡量好坏样本累计分布之间差异的指标。如果一个模型能够准确地区分好客户和坏客户，那么这两个群体的分布应该有...
python实现求特征选择的信息增益
09-19
本文将深入探讨如何使用Python来计算特征选择的信息增益，同时考虑二值离散型和连续型属性。 熵是衡量数据纯度的一个度量，其计算公式为： \[ H(Y) = -\sum_{i=1}^{n_y} p_i \log_2 p_i \] 其中，\( H(Y) \) 是熵，...
基于python实现计算两组数据P值
09-16
在使用`stats.ttest_ind`时，如果不确定两总体方差是否相等，可以先用`levene`检验来检查方差齐性。如果`levene`检验的P值大于0.05，我们可以认为两总体方差相等，此时可以使用`ttest_ind`默认设置。若发现方差不齐...
python重要性_使用Python的随机森林特征重要性图表
weixin_39816027的博客
11-26 506
我在python中使用RandomForestRegressor,我想创建一个图表来说明功能重要性的排名.这是我使用的代码：from sklearn.ensemble import RandomForestRegressorMT= pd.read_csv("MT_reduced.csv")df = MT.reset_index(drop = False)columns2 = df.columns....
吴恩达机器学习作业Python3实现(六)：支持向量机SVM
专注当下，持续进步。
01-25 754
寻找志同道合的学习伙伴，请访问我的个人网页. 该内容同步发布在CSDN和耳壳网. 支持向量机 在本练习中，我们将使用高斯核函数的支持向量机（SVM）来构建垃圾邮件分类器。 sklearn.svm.LinearSVC cmap color 数据集 import numpy as np import pandas as pd import matplotlib.pyplot as plt from scipy.io import loadmat path = '数据集/ex6data1.mat' raw_.
随机森林预测、重要性分析（Python实现）
m0_73963149的博客
08-09 1111
要注意的是，如果用分类器，y的取值需要是离散数值。如果用回归器，不要求是离散数据，但需要是数值。所以两种方法都要对目标列先进行数值化处理。
python随机森林变量重要性_利用随机森林对特征重要性进行评估
weixin_32256355的博客
02-11 6167
前言随机森林是以决策树为基学习器的集成学习算法。随机森林非常简单，易于实现，计算开销也很小，更令人惊奇的是它在分类和回归上表现出了十分惊人的性能，因此，随机森林也被誉为“代表集成学习技术水平的方法”。本文是对随机森林如何用在特征选择上做一个简单的介绍。随机森林(RF)简介只要了解决策树的算法，那么随机森林是相当容易理解的。随机森林的算法可以用如下几个步骤概括：用有抽样放回的方法(bootstrap...
python 随机森林_使用python+sklearn实现随机森林的特征重要性
weixin_39890102的博客
11-24 1573
本示例显示了使用随机森林来评估特征在人工分类任务中的重要性。下图中的红色柱形(red bars)表示随机森林的特征重要性，以及它们在树间的可变性(inter-trees variability)。不出所料，该图表明了3个特征是有信息的，而其余特征则没有。sphx_glr_plot_forest_importances_001输出：Featureranking:1.feature1...
python重要性,使用Python的随机森林特征重要性图
weixin_39804620的博客
11-26 617
I am working with RandomForestRegressor in python and I want to create a chart that will illustrate the ranking of feature importance. This is the code I used:from sklearn.ensemble import RandomForest...
Pytorch学习笔记（一）
quyangdahuairen的博客
02-11 276
背景： 学习Pytorch的一个基本原因是由于业务需求，需要进行一些人脸识别技术的相关实践，最后综合对比，打算采用风头正盛的Pytorch这套算法包支持我的业务场景。 我的问题： 目前对于机器学习和深度学习领域仍旧是一知半解，基础知识不够扎实，所以在学习笔记中会不断地抛出一些问题，同时记录一些重要的知识点，并加入到自己的理解 Start： 1,张量 0维的张量是标量，1维的张量是向量，...
【机器学习】01. python随机森林实现回归，相关性分析，特征重要性分析
暂无简介
12-26 2443
背景：有个关于回归的任务，因保护客户数据资料，用鸢尾花数据集代替，完成随机森林算法实现部分功能。后续还可以添加一些寻优逻辑，比如网格搜索，交叉验证等。2. 输出数据特征之间的相关性矩阵。4. 加载模型并预测输出均方误差和R方评估指标。3. 训练模型并保存joblib文件。此时会显示当前数据的部分相关描述。5. 特征重要性分析。
Python计算特征重要性
04-19
这是一个数据分析方面的技术问题，我可以为您提供一些解答。在Python中，我们可以使用一些库来计算特征重要性，比如scikit-learn中的ExtraTreesRegressor或者RandomForestRegressor模型，它们可以根据树模型的特性，通过计算特征节点分裂时的信息增益或者基尼不纯度等指标，得到各个特征的重要性分数。另外，也可以使用GBDT等梯度提升树算法来计算特征重要性。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 6
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值