支持向量机（SVM）特征重要性计算问题

于 2022-11-29 16:02:40 发布
阅读量7.5k 收藏 30
点赞数 7
分类专栏： 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_46491761/article/details/128099246
版权
本文探讨了在SVM模型中，由于SVC类没有直接的`feature_importances_`属性，如何通过系数绝对值和平方计算特征重要性。作者介绍了使用clf.coef_和系数平方除以总和的方法，并提供了实现步骤。
摘要由CSDN通过智能技术生成

问题

在利用SVM模型进行分类，发现SVC没有feature_importances_这个属性（：‘SVC’ object has no attribute ‘feature_importances_’），而决策树和随机森林可以直接利用clf.feature_importances_自动计算特征重要性。暂时没找到SVC有类似于feature_importances_的方法自动计算特征重要性，有的话欢迎评论指导。

解决办法

通过SVM模型计算的特征系数的绝对值大小来计算特征值重要性：
因为特征系数有正负，因此用系数平方/系数和平方
特征系数：clf.coef_，ravel()是将二维列表降为一维
在这里插入图片描述

svm_weights_1 = (clf.coef_ ** 2).ravel()
svm_weights_2 = svm_weights_1 / svm_weights_1.sum()
对svm_weights_2 取整求和也刚好为1
在这里插入图片描述

正在努力成长的giser
关注
专栏目录
支持向量机模型
数字人生
04-14 867
通过5个条件判定一件事情是否会发生，5个条件对这件事情是否发生的影响力不同，计算每个条件对这件事情发生的影响力多大，写一个支持向量机模型程序,最后打印5个条件分别的影响力。
用SVM做特征选择
11-25
支持向量机是一个性能比较好的分类器，但直接用于做分类不一定能得到好的性能，但若能结合好的特征选择算法分类性能会大大提高，本程序就是结合我们实验室提出的特征选择方法再加上SVM 得到好的结果
基于SVM的特征选择(Feature selection for SVM)
04-18
基于SVM进行特征选择。 利用了凸优化方法。
python机器学习之支持向量机——线性SVM决策过程的可视化案例
sjjsaaaa的博客
12-10 1683
线性SVM决策过程的可视化 1、导入需要的模块 from sklearn.datasets import make_blobs from sklearn.svm import SVC import matplotlib.pyplot as plt import numpy as np 2、实例化数据集，可视化数据集 X,y = make_blobs(n_samples=50, centers=2, random_state=0,cluster_std=0.6) plt.scatter(X[:,0],X[:
获取线性支持向量机LinearSVC模型的重要特征
qq_27802435的博客
11-06 3540
获取线性支持向量机LinearSVC模型的重要特征 模型训练之后，想要得到比较重要的特征，可以通过python的sklearn包来实现。 python实现代码如下所示：  LinearSVC.py # -*- coding: utf-8 -*- import IOUtil as iou import numpy as np import pandas as pd from sklea...
MATLAB中SVM的特征重要性排序
热门推荐
Jinzhong_Kang的博客
12-01 1万+
MATLAB中可以通过支持向量机递归特征消除（Support Vector Machine Recursive Feature Elimination ：SVM-RFE）来获得SVM的特征重要性排序！！！ SVM-RFE算法是根据SVM在训练时生成的权向量w来构造排序系数，每次迭代去掉一个排序系数最小的特征属性，最终得到所有特征属性的递减顺序的排序。 经典的SV...
机器学习十大算法之四：SVM（支持向量机）
小菜菜的博客
07-23 1097
SVM(支持向量机) 支持向量机(Support Vector Machine)是一种十分常见的分类器，曾经火爆十余年，分类能力强于NN，整体实力比肩LR与RF。核心思路是通过构造分割面将数据进行分离，寻找到一个超平面使样本分成两类，并且间隔最大。而我们求得的w就代表着我们需要寻找的超平面的系数 ，如下图： ...
python利用支持向量机SVM进行时间序列预测（数据+源码）
04-18
支持向量机（Support Vector Machine，简称SVM）是一种强大的监督学习模型，广泛应用于分类和回归任务，包括时间序列预测。在本主题中，我们将深入探讨如何使用Python和SVM来预测时间序列数据，同时结合提供的`demo....
基于支持向量机SVM的沉降预测
最新发布
03-12
支持向量机（Support Vector Machine，简称SVM）是一种广泛应用的机器学习算法，尤其在分类和回归任务中表现出色。本项目聚焦于使用SVM进行沉降预测，这是工程领域，尤其是土木工程中的一项重要任务，涉及到建筑物、...
支持向量机，用于特征提取、预测、目标识别等问题的解决实例
08-10
支持向量机，用于特征提取、预测、目标识别等问题的解决实例，有详细的代码辅助说明。
改进的支持向量机特征选择算法 (2009年)
05-22
针对采用支持向量机进行分类的特征子集选择问题，提出一种改进的基于梯度向量的特征评测算法。该算法在核特征空间中，利用数据点到分类超平面的距离函数的梯度向量对各个特征的重要性进行排序，省去了已有算法中计算梯度向量与各个坐标轴夹角的过程，实验结果表明，该算法简化了已有的基于角度的特征选择方法，并且结果保持一致。
DBN-LSTM-SVM的电池电容预测，基于深度信念神经网络dbn+长短期神经网络LSTM+支持向量机SVM的电池电容预测
08-06
本项目采用了一种结合深度信念网络（DBN）、长短期记忆网络（LSTM）和支持向量机（SVM）的混合模型来实现这一目标。下面将详细介绍这些技术及其在电池电容预测中的应用。 **深度信念网络（DBN）** 是一种无监督学习...
nystrom-master_支持向量机svm3_
10-01
支持向量机（Support Vector Machine，SVM）是一种广泛应用于机器学习领域的监督学习算法，尤其在分类和回归问题中表现出色。SVM的核心在于其能够通过核函数将低维数据映射到高维空间，使得原本难以线性划分的数据在...
支持向量机_svm预测_SVM预测_支持向量机_SVM_源码
10-04
拉格朗日乘子α对应于每个支持向量，其值反映了样本的重要性。 SVM的预测阶段，对于新样本，会根据它到超平面的距离判断其所属类别。对于二分类问题，距离超平面更远的一侧即为预测的类别。对于多分类问题，可以...
机器学习模型可解释性进行到底——特征重要性（四）
素质云笔记
04-13 8262
文章目录1 四种全局可解释的方法论1.1 过滤法1.1.1 方差过滤方差过滤1.1.2 相关性过滤1.2 嵌入法1.2.1 SelectFromModel - 筛选特征1.2.2 PermutationImportance - 排列重要性1.3 包装法1.4 几种方法对比1.5 额外的交叉特征筛选模型：AutoFIS2 SHAP(SHapley Additive exPlanation)2.1 SHAP 与 Permutation importance 的差异2.2 特征归因的一致性2.2.1 树模型
机器学习如何计算特征的重要性_计算广告系统的机器学习应用技术之探讨
weixin_39823200的博客
11-24 76
在计算广告系统中，用户在最终转化或购买广告商品之前，往往会浏览一系列来自不同渠道的广告商品曝光(impression)。有三位用户分别浏览了展示广告、搜索广告或来自多个渠道的推荐商品，其中用户2产生了最终的转化。对于用户接触一次广告曝光的行为，我们称之为广告触达(touch)。对于广告主来说，准确估计用户在网上浏览过程中不同的广告触达，对于用户最终转化行为的贡献值十分重要。这不仅有助于分...
笔记之支持向量机及python实现
xingchengmeng的博客
04-11 797
支持向量机算法1 概述2 算法特点 1 概述   支持向量机（support vector machines,SVM）主要作为一种二分类模型。它的强大之处在于既可以用作线性分类器又可以作为非线性分类器。 2 算法特点 优点：泛化错误率低，计算开销不大，结果容易解释。 缺点：对参数调节和核函数的选择敏感，原始分类器不加修改仅适用于二分类问题。 适用数据类型：数值型和标称型数据。 ...
机器学习-支持向量机
weixin_37443412的博客
07-05 449
支持向量机是一种二类分类模型。他的基本模型是定义在特征空间上的间隔最大的线性分类器，间隔最大使它有别于感知机；支持向量机还宝包括核技巧，使得它实质上是非线性分类器。支持向量机的学习策略就是间隔最大化，可形式化为一个求解凸二次规划问题，也等价于正则化的合页损失函数的最小化问题。     当训练数据线性可分时，通过硬间隔最大化，学习一个线性分类器，即线性可分支持向量机，又称为硬间隔支持向量机。     当训练数据近似线性可分时，通过软间隔最大化，学习一个线性的分类器，即线性支持向量机，又称软间隔支持向量机。  
svm特征重要性排序python
08-31
在Python中，我们可以使用SVM（支持向量机）模型来进行特征重要性排序。然而，SVM模型本身并没有提供直接的方法来计算特征的重要性。但是，我们可以使用SVM模型的系数的绝对值大小作为特征重要性的度量。 下面是一个示例代码，演示了如何使用SVM模型来计算特征重要性的排序： from sklearn.svm import SVC from sklearn.datasets import load_breast_cancer import numpy as np # 加载数据集 data = load_breast_cancer() X = data.data y = data.target feature_names = data.feature_names # 创建SVM模型 svm = SVC(kernel='linear') svm.fit(X, y) # 计算特征的重要性排序 importance = np.abs(svm.coef_) sorted_features = sorted(zip(importance, feature_names), reverse=True) # 打印特征重要性排序 print("Features sorted by their importance:") for importance, feature in sorted_features: print(f"{feature}: {importance}") 在这个例子中，我们使用了来自Scikit-learn库的乳腺癌数据集。我们使用了线性SVM模型（kernel='linear'），并使用fit()方法训练模型。然后，我们计算了SVM模型的系数的绝对值大小作为特征的重要性。最后，我们根据特征的重要性排序打印了特征的名称和相应的重要性值。 请注意，这种方法仅适用于线性SVM模型。对于非线性SVM或其他类型的模型，我们需要使用不同的方法来计算特征的重要性。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* *2* *3* [Python实现机器学习特征选择](https://blog.csdn.net/someonelikesyou/article/details/107960801)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_1"}}] [.reference_item style="max-width: 100%"] [ .reference_list ]
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值