SVM 支持向量机简介和sklearn中参数设置详解

最新推荐文章于 2024-08-07 09:41:39 发布
最新推荐文章于 2024-08-07 09:41:39 发布
阅读量6.5k 收藏 56
点赞数 6
文章标签： python 机器学习 svm
原文链接：https://www.cnblogs.com/solong1989/p/9620170.html
版权

1.SVM简介

SVM方法建立在统计学VC维和结构风险最小化原则上，既可以用于分类（二/多分类）、也可用于回归和异常值检测。SVM具有良好的鲁棒性，对未知数据拥有很强的泛化能力，特别是在数据量较少的情况下，相较其他传统机器学习算法具有更优的性能。

使用SVM作为模型时，通常采用如下流程：

1.对样本数据进行归一化
2.应用核函数对样本进行映射（最常采用和核函数是RBF和Linear，在样本线性可分时，Linear效果要比RBF好）
3.用cross-validation和grid-search对超参数进行优选
4.用最优参数训练得到模型
5.测试

  • sklearn中支持向量分类主要有三种方法：SVC、NuSVC、LinearSVC，扩展为三个支持向量回归方法：SVR、NuSVR、LinearSVR。

  • SVC和NuSVC方法基本一致，唯一区别就是损失函数的度量方式不同（NuSVC中的nu参数和SVC中的C参数）；LinearSVC是实现线性核函数的支持向量分类，没有kernel参数，也缺少一些方法的属性，如support_等。

2.参数

SVC　class sklearn.svm.SVC(C=1.0, kernel=‘rbf’, degree=3, gamma=‘auto’, coef0=0.0, shrinking=True, probability=False, tol=0.001, cache_size=200, class_weight=None, verbose=False, max_iter=-1, decision_function_shape=‘ovr’, random_state=None)

  • C: 惩罚系数，用来控制损失函数的惩罚系数，类似于LR中的正则化系数。C越大，相当于惩罚松弛变量，希望松弛变量接近0，即对误分类的惩罚增大，趋向于对训练集全分对的情况，这样会出现训练集测试时准确率很高，但泛化能力弱，容易导致过拟合。
    C值小，对误分类的惩罚减小，容错能力增强，泛化能力较强，但也可能欠拟合。

  • kernel: 算法中采用的和函数类型，核函数是用来将非线性问题转化为线性问题的一种方法。参数选择有RBF, Linear, Poly, Sigmoid，precomputed或者自定义一个核函数,默认的是"RBF"，即径向基核，也就是高斯核函数；而Linear指的是线性核函数，Poly指的是多项式核，Sigmoid指的是双曲正切函数tanh核；

  • degree:
    当指定kernel为’poly’时，表示选择的多项式的最高次数，默认为三次多项式；若指定kernel不是’poly’，则忽略，即该参数只对’poly’有用。（多项式核函数是将低维的输入空间映射到高维的特征空间）

  • gamma: 核函数系数，该参数是rbf，poly和sigmoid的内核系数；默认是’auto’，那么将会使用特征位数的倒数，即1 / n_features。（即核函数的带宽，超圆的半径）。gamma越大，σ越小，使得高斯分布又高又瘦，造成模型只能作用于支持向量附近，可能导致过拟合；反之，gamma越小，σ越大，高斯分布会过于平滑，在训练集上分类效果不佳，可能导致欠拟合。

  • coef0: 核函数常数值(y=kx+b中的b值)，只有‘poly’和‘sigmoid’核函数有，默认值是0。

shrinking : 是否进行启发式。如果能预知哪些变量对应着支持向量，则只要在这些样本上训练就够了，其他样本可不予考虑，这不影响训练结果，但降低了问题的规模并有助于迅速求解。进一步，如果能预知哪些变量在边界上(即a=C)，则这些变量可保持不动，只对其他变量进行优化，从而使问题的规模更小，训练时间大大降低。这就是Shrinking技术。 Shrinking技术基于这样一个事实：支持向量只占训练样本的少部分，并且大多数支持向量的拉格朗日乘子等于C。

probability: 是否使用概率估计，默认是False。必须在 fit( ) 方法前使用，该方法的使用会降低运算速度。

tol: 残差收敛条件，默认是0.0001，即容忍1000分类里出现一个错误，与LR中的一致；误差项达到指定值时则停止训练。

cache_size: 缓冲大小，用来限制计算量大小，默认是200M。

  • class_weight : {dict,‘balanced’}，字典类型或者’balance’字符串。权重设置，正类和反类的样本数量是不一样的，这里就会出现类别不平衡问题，该参数就是指每个类所占据的权重，默认为1，即默认正类样本数量和反类一样多，也可以用一个字典dict指定每个类的权值，或者选择默认的参数balanced，指按照每个类中样本数量的比例自动分配权值。如果不设置，则默认所有类权重值相同，以字典形式传入。
    将类i 的参数C设置为SVC的class_weight[i]*C。如果没有给出，所有类的weight 为1。‘balanced’模式使用y 值自动调整权重，调整方式是与输入数据中类频率成反比。如n_samples / (n_classes *np.bincount(y))。（给每个类别分别设置不同的惩罚参数C，如果没有给，则会给所有类别都给C=1，即前面参数指出的参数C。如果给定参数’balance’，则使用y的值自动调整与输入数据中的类频率成反比的权重。）

verbose : 是否启用详细输出。在训练数据完成之后，会把训练的详细信息全部输出打印出来，可以看到训练了多少步，训练的目标值是多少；但是在多线程环境下，由于多个线程会导致线程变量通信有困难，因此verbose选项的值就是出错，所以多线程下不要使用该参数。

max_iter: 最大迭代次数，默认是-1，即没有限制。这个是硬限制，它的优先级要高于tol参数，不论训练的标准和精度达到要求没有，都要停止训练。

decision_function_shape ： 原始的SVM只适用于二分类问题，如果要将其扩展到多类分类，就要采取一定的融合策略，这里提供了三种选择。‘ovo’ 一对一，为one v one，即将类别两两之间进行划分，用二分类的方法模拟多分类的结果，决策所使用的返回的是（样本数，类别数*(类别数-1)/2）； ‘ovr’ 一对多，为one v rest，即一个类别与其他类别进行划分，返回的是(样本数，类别数)，或者None，就是不采用任何融合策略。默认是ovr，因为此种效果要比oro略好一点。

random_state: 在使用SVM训练数据时，要先将训练数据打乱顺序，用来提高分类精度，这里就用到了伪随机序列。如果该参数给定的是一个整数，则该整数就是伪随机序列的种子值；如果给定的就是一个随机实例，则采用给定的随机实例来进行打乱处理；如果啥都没给，则采用默认的 np.random实例来处理。

NuSVC　　class sklearn.svm.NuSVC(nu=0.5, kernel=‘rbf’, degree=3, gamma=‘auto’, coef0=0.0, shrinking=True, probability=False, tol=0.001, cache_size=200, class_weight=None, verbose=False, max_iter=-1, decision_function_shape=‘ovr’, random_state=None)

  • nu： 训练误差部分的上限和支持向量部分的下限，取值在（0，1）之间，默认是0.5

LinearSVC　class sklearn.svm.LinearSVC(penalty=‘l2’, loss=‘squared_hinge’, dual=True, tol=0.0001, C=1.0, multi_class=‘ovr’, fit_intercept=True, intercept_scaling=1, class_weight=None, verbose=0, random_state=None, max_iter=1000)

  • penalty: 正则化参数，L1和L2两种参数可选，仅LinearSVC有。

    loss:
    损失函数，有‘hinge’和‘squared_hinge’两种可选，前者又称L1损失，后者称为L2损失，默认是是’squared_hinge’，其中hinge是SVM的标准损失，squared_hinge是hinge的平方

    dual: 是否转化为对偶问题求解，默认是True。

    tol: 残差收敛条件，默认是0.0001，与LR中的一致。

    C: 惩罚系数，用来控制损失函数的惩罚系数，类似于LR中的正则化系数。

    multi_class: 负责多分类问题中分类策略制定，有‘ovr’和‘crammer_singer’
    两种参数值可选，默认值是’ovr’，'ovr’的分类原则是将待分类中的某一类当作正类，其他全部归为负类，通过这样求取得到每个类别作为正类时的正确率，取正确率最高的那个类别为正类；‘crammer_singer’
    是直接针对目标函数设置多个参数值，最后进行优化，得到不同类别的参数值大小

    fit_intercept: 是否计算截距，与LR模型中的意思一致。

    class_weight:
    与其他模型中参数含义一样，也是用来处理不平衡样本数据的，可以直接以字典的形式指定不同类别的权重，也可以使用balanced参数值。

    verbose: 是否冗余，默认是False。

    random_state: 随机种子。

    max_iter: 最大迭代次数，默认是1000。
    　　
    3.属性(Attributes)

  • support_: 以数组的形式返回支持向量的索引，即在所有的训练样本中，哪些样本成为了支持向量。

    support_vectors_: 返回支持向量，汇总了当前模型所有的支持向量。

    n_support_: 比如SVC将数据集分成了4类，该属性表示了每一类的支持向量的个数。

    dual_coef_: 对偶系数，即支持向量在决策函数中的系数，在多分类问题中，这个会有所不同。

    coef_: 每个特征系数（重要性），只有核函数是Linear的时候可用。

    intercept_: 决策函数中的常数项（借据值），和coef_共同构成决策函数的参数值。
    　　
    4. 方法(Method)

  • decision_function(X): 获取数据集中样本X到分离超平面的距离。

    fit(X, y): 在数据集(X,y)上拟合SVM模型。

    get_params([deep]): 获取模型的参数。

    predict(X): 预测数据值X的标签。

    score(X,y): 返回给定测试集和对应标签的平均准确率。
    　　
    5.核函数的使用

  • RBF核：高斯核函数就是在属性空间中找到一些点，这些点可以是也可以不是样本点，把这些点当做base，以这些base为圆心向外扩展，扩展半径即为带宽，即可划分数据。换句话说，在属性空间中找到一些超圆，用这些超圆来判定正反类。

  • 线性核和多项式核：这两种核的作用也是首先在属性空间中找到一些点，把这些点当做base，核函数的作用就是找与该点距离和角度满足某种关系的样本点。当样本点与该点的夹角近乎垂直时，两个样本的欧式长度必须非常长才能保证满足线性核函数大于0；而当样本点与base点的方向相同时，长度就不必很长；而当方向相反时，核函数值就是负的，被判为反类。即，它在空间上划分出一个梭形，按照梭形来进行正反类划分。

  • Sigmoid核：同样地是定义一些base，核函数就是将线性核函数经过一个tanh函数进行处理，把值域限制在了-1到1上。

总之，都是在定义距离，大于该距离，判为正，小于该距离，判为负。至于选择哪一种核函数，要根据具体的样本分布情况来确定。

一般有如下指导规则：

  1. 如果Feature的数量很大，甚至和样本数量差不多时，往往线性可分，这时选用LR或者线性核Linear；

  2. 如果Feature的数量很小，样本数量正常，不算多也不算少，这时选用RBF核；

  3. 如果Feature的数量很小，而样本的数量很大，这时手动添加一些Feature，使得线性可分，然后选用LR或者线性核Linear；

  4. 多项式核一般很少使用，效率不高，结果也不优于RBF；

  5. Linear核参数少，速度快；RBF核参数多，分类结果非常依赖于参数，需要交叉验证或网格搜索最佳参数，比较耗时；

    应用最广的应该就是RBF核，无论是小样本还是大样本，高维还是低维等情况，RBF核函数均适用。

6. 总结

支持向量机的优点：

  1. 在高维空间中非常高效； 即使在数据维度比样本数量大的情况下仍然有效；

  2. 在决策函数（称为支持向量）中使用训练集的子集,因此它也是高效利用内存的； 通用性：不同的核函数与特定的决策函数一一对应；

支持向量机的缺点：

  1. 如果特征数量比样本数量大得多，在选择核函数时要避免过拟合；

  2. 支持向量机不直接提供概率估计，这些都是使用昂贵的五次交叉验算计算的。

总结转载于https://www.cnblogs.com/solong1989/p/9620170.html

泡泡不粘锅
关注
支持向量机SVM 参数选择
weixin_34010949的博客
09-17 8632
http://ju.outofmemory.cn/entry/119152 http://www.cnblogs.com/zhizhan/p/4412343.html 支持向量机SVM是从线性可分情况下的最优分类面提出的。所谓最优分类，就是要求分类线不但能够将两类无错误的分开，而且两类之间的分类间隔最大，前者是保证经验风险最小（为0），而通过后面的讨论我们看到，使分类间隔最大实际上就是使得推广...
sklearn中的支持向量机SVM（上）
momokofly的博客
12-22 1809
1 概述 支持向量机（SVM，也称为支持向量网络），是机器学习中获得关注最多的算法。它源于统计学习理论，是除了集成学习算法之外，接触到的第一个强学习器。 从算法的功能来看，SVM囊括了很多其他算法的功能： 从分类效力来讲，SVM在无论线性还是非线性分类中，都是明星般的存在。 在实际应用来看，SVM在各种实际问题中都表现非常优秀。它在手写识别数字和人脸识别中应用广泛，在文本和超文本的分类中举足轻重，因为SVM可以大量减少标准归纳（standard inductive）和转换设置（transductive s
[吴恩达机器学习笔记]12支持向量机5SVM参数细节
泛用演化计算、通用人工智能优化模型
09-07 542
12.支持向量机 觉得有用的话,欢迎一起讨论相互学习~Follow Me 参考资料 斯坦福大学 2014 机器学习教程中文笔记 by 黄海广 12.5 SVM参数细节 标记点选取 标记点(landmark)如图所示为l(1),l(2),l(3)l(1),l(2),l(3)l^{(1)},l^{(2)},l^{(3)},设核函数为 高斯函数 ，其中设预测函数y=1 i...
基于sklearn的机器学习 — 支持向量机（SVM）
最新发布
08-07 1532
支持向量机（SVM：support vector machine）另一种功能强大、应用广泛的学习算法，可应用于分类、回归、密度估计、聚类等问题。SVM可以看作是感知器（可被视为一种最简单形式的前馈神经网络，是一种二元线性分类器）的扩展，与逻辑回归相比，支持向量机在学习复杂的非线性方程时提供了一种更为清晰，更加强大的方式。SVM是一种监督式的学习方法，用统计风险最小化的原则来估计一个分类的，其基础的概念非常简单，就是找到一个，让两类之间的最大化，使其可以完美地分隔开来。是n维空间中的n - 1个子空间。
支持向量机（sklearn.svm.svc）中的参数
hu_666666的博客
11-17 5628
在拟合（fit）模型之前启用，启用之后会减缓拟合速度，但是拟合之后，模型能够输出各个类别对应的概率。核函数，{‘linear’, ‘poly’, ‘rbf’, ‘sigmoid’, ‘precomputed’}，默认值为’rbf’。（5） precomputed：预训练好的核函数对应的Gram 矩阵 优点： 不用再次拟合核函数对应的Gram 矩阵，直接进行映射。‘rbf’, ‘poly’ 和‘sigmoid’ 核函数的系数， {‘auto’, ‘scale’}，默认值为‘scale’。
支持向量机SVM原理（参数解读和python脚本）
fulk6667g78o8的专栏
02-17 1562
支持向量机SVM 这是线性支持向量机，LSVM margin margin值越大越好，因为margin值越大，空间区分两组数据效果越好，margin值越小，空间区分两组数据效果越差 margin值最大的向量空间最好 lagrange multipliers拉格朗日乘数法是解决支持向量机margin最大值方法 在数学最优问题中，拉格朗日乘数法（以数学家约瑟夫·路易斯·拉格朗日命名）是一种寻找变量受一个或多个条件所限制的多元函数的极值的方法。这种方法将一个有n 个..
sklearn中支持向量机的参数
baidu_15113429的博客
09-09 1004
官方文档http://scikit-learn.org/stable/modules/generated/sklearn.svm.SVC.html参数说明http://m.blog.csdn.net/github_39261590/article/details/75009069
python中的sklearn.svm.svr_支持向量机SVM--sklearn 参数说明
weixin_33499681的博客
01-29 3584
SVM(Support Vector Machine)支持向量机1、SVM线性分类器sklearn. svm. LinearsvC(penalty=12, loss=squared_hinge, dual=True, tol=0 0001, C=1.0,multi_class=ovr, fit_intercept=True, intercept_ scaling=1, class_weight=N...
python sklearn 支持向量机_机器学习库sklearn中svm函数特性详解
weixin_39564036的博客
11-24 816
本文可能是你能在网上找到的对svm参数解析最详细的一篇文章。写文源于之前使用到svm做攻击识别，一直纠结于一些函数的参数，对我个人自定义的一些偏好设定无法很好的完成，所以对其好好的研究了一番。这篇算是一篇工具文，来详解一下python sklearn中svm的一些参数，以及结合具体的例子来进行详细说明。svm函数简介sklearn中的svm基于libsvm，基础的svm函数大概如下所示，其中涉及到...
机器学习SVM(支持向量机)实验报告(带源代码)
10-27
### 机器学习SVM(支持向量机)实验报告知识点解析 #### 一、实验目的与要求 **实验目的：** - 验证支持向量机(Support Vector Machine, SVM)机器学习算法的学习情况。 **要求：** - 学员需要自主完成整个实验过程...
Python中的支持向量机SVM的使用（附实例代码）
09-19
### Python中的支持向量机SVM使用详解及实例 #### 一、引言 支持向量机（Support Vector Machine, SVM）是一种广泛应用于分类与回归分析的监督学习模型。其核心思想是在高维空间中寻找一个最佳超平面，使得两个不同...
支持向量机回归的参数选择方法
10-18
支持向量机回归的参数选择方法
支持向量机的参数调整优化
2301_77444219的博客
07-05 634
svm（支持向量机）以感知机为原型，但是它的能力要远远强于感知机，svm在回归，分类和异常检测上都有重要作用，并且可以通过kernel trick实现高维数据的非线性分类。sklearn里面提供了很多svm及其变种，本篇将详细介绍其中的分类器之一svc。
机器学习——支持向量机
qq_41566819的博客
12-27 2587
支持向量机(Support Vector Machine,SVM)的基本思想是在N维数据找到N-1维的超平面(hyperplane)作为分类的决策边界。
机器学习——支持向量机（SVM）
weixin_39753819的博客
03-22 1690
支持向量机（Support Vector Machine，简称SVM）是一种强大的监督学习算法，常用于分类和回归任务。SVM在分类问题中尤其广受欢迎，因为它不仅能够在线性可分的情况下找到最优的分类超平面，还可以通过核函数处理非线性情况。 在本篇博客中，将介绍支持向量机的理论基础、关键概念以及通过Python代码实现一个简单的SVM分类器。
SVM支持向量机的使用和参数详解
AI_dataloads的博客
09-26 2254
SVM是一个强大且灵活的分类器，可以处理线性和非线性问题。然而，在实际使用中，需要根据具体问题和数据的特点来选择适当的参数和核函数进行调整，以获得最佳的性能和准确性。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值