传统机器学习算法-支持向量机模型详解

已于 2023-02-12 20:39:19 修改
阅读量1.1k 收藏
点赞数
分类专栏： 算法分析 实用技术 文章标签： 算法
于 2022-12-09 21:37:07 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u013451076/article/details/128259404
版权

原文链接

引言

本篇我们要讲解的模型是大名鼎鼎的支持向量机 SVM，这是曾经在机器学习界有着近乎「垄断」地位的模型，影响力持续了好多年。直至今日，即使深度学习神经网络的影响力逐渐增强，但 SVM 在中小型数据集上依旧有着可以和神经网络抗衡的极好效果和模型鲁棒性。

支持向量机学习方法，针对不同的情况，有由简至繁的不同模型：

  • 线性可分支持向量机（linear support vector machine in linearly separable case）：训练数据线性可分的情况下，通过硬间隔最大化（hard margin maximization），学习一个线性的分类器，即线性可分支持向量机（亦称作硬间隔支持向量机）。

  • 线性支持向量机（linear support vector machine）：训练数据近似线性可分的情况下，通过软间隔最大化（soft margin maximization），学习一个线性的分类器，称作线性支持向量机（又叫软间隔支持向量机）。

  • 非线性支持向量机（non-linear support vector machine）：训练数据线性不可分的情况下，通过使用核技巧（kernel trick）及软间隔最大化，学习非线性分类器，称作非线性支持向量机。

    支持向量机可以借助核技巧完成复杂场景下的非线性分类，当输入空间为欧式空间或离散集合、特征空间为希尔贝特空间时，核函数（kernel function）表示将输入从输入空间映射到特征空间得到的特征向量之间的内积。

    通过使用核函数可以学习非线性支持向量机，等价于隐式地在高维的特征空间中学习线性支持向量机。这样的方法称为核技巧。

    1.最大间隔分类器

    1）分类问题与线性模型

    分类问题是监督学习的一个核心问题。在监督学习中，当输出变量取有限个离散值时，预测问题便成为分类问题。

     实际生活中，有很多问题的本质都是分类，如识别某种模式：文本分类、分词、词性标注、图像内容识别和目标检测等。

    分类问题的数学理解是空间划分（或者寻找不同类别的决策边界），如图所示是一个简单的线性分类器（这部分更详细的讲解参考ShowMeAI文章 图解机器学习 | 机器学习基础知识 和 图解机器学习 | 逻辑回归算法详解）。

    2）最大间隔分类器

    不同的模型在解决分类问题时，会有不同的处理方式，直观上看，我们会使用不同的决策边界对样本进行划分。

    如图中「冰墩墩」与「雪容融」两类样本点，我们对其进行分类，可以完成该分类任务的决策边界有无数个。而我们这里介绍到的 SVM 模型，要求更高一些，它不仅仅希望把两类样本点区分开，还希望找到鲁棒性最高、稳定性最好的决策边界（对应图中的黑色直线）。

     

  • 这个决策边界与两侧「最近」的数据点有着「最大」的距离，这意味着决策边界具有最强的容错性，不容易受到噪声数据的干扰。直观的理解就是，如果决策边界抖动，最不容易「撞上」样本点或者进而导致误判。 

  • 2.支持向量机详解

     1）线性可分 SVM 与硬间隔最大化

       

 我们希望这条直线满足「最大间隔」原则，也就是如下图的形态。图中位于红色和蓝色线上的图标就是所谓的支持向量（support vector）。

 

 （1）几何间隔

 （2）对偶算法

 求解线性可分支持向量机的最优化问题，我们很多时候会将它转化为对偶问题（dual problem）来求解，也就是应用「拉格朗日对偶性」，通过求解「对偶问题（dual problem）」得到「原始问题（primal problem）」的最优解，即线性可分支持向量机的对偶算法（dual algorithm）。

这样做有一些优点：

  • 对偶问题往往更容易求解。
  • 引入自然核函数，进而可以推广到非线性分类问题。

 

 

2）线性 SVM 与软间隔最大化

我们前面提到的是线性可分的情况，但实际应用中完全线性可分的情况太少见了。如下图就是一个典型的线性不可分的分类图（我们没有办法找到一条直线，把空间划分为2个区域，一个区域只有黑点，一个区域只有白点）。

要对其进行切分，有2种方案：

方案1：用曲线去将其完全分开，即非线性的决策边界，这会和之后谈到的核函数关联。

方案2：还是使用直线，不过不追求完全可分，会适当包容一些分错的情况，在这个过程中我们会在模型中加入惩罚函数，尽量让分错的点不要太多太离谱。对分错点的惩罚函数就是这个点到其正确位置的距离，如下图所示：

 图上黄色、蓝色的直线分别为支持向量所在的边界，黑色的线为决策函数，那些绿色的线表示分错的点到其相应的决策面的距离，这样我们可以在原函数上面加上一个惩罚函数，并且带上其限制条件为：

 3）非线性 SVM 与核函数

如果我们要处理的分类问题更加复杂，甚至不能像上面一样近似线性可分呢，这种情况下找到的超平面分错的程度太高不可接受。

对于这样的问题，一种解决方案是将样本从原始空间映射到一个更高维的特征空间，使得样本在这个特征空间内线性可分，然后再运用 SVM 求解，如下图所示：

比如下图中的典型线性不可分的情况：

 

 支持向量机模型; 非线性SVM与核函数;

 上述两个核函数分别为多项式核和高斯核，高斯核甚至是将原始空间映射为无穷维空间，另外核函数有一些比较好的性质，比如说不会比线性条件下增加多少额外的计算量，等等，此处我们不深入。对于一个问题，不同的核函数可能会带来不同的结果，我们需要做一些尝试来支撑选择（关于这个部分，大家可以看最下方的 python 实现部分）。

3. SVM 总结

1）模型总结

支持向量机（Support vector machines, SVM）是一种二分类模型，它的基本模型是定义在特征空间上的间隔最大的线性分类器，他的学习策略就是间隔最大化，同时该方法可以形式化为一个求解图二次规划。

支持向量机模型; SVM模型总结;

SVM由简至繁可分为三类：线性可分支持向量机、硬间隔（hard-margin svm）；线性支持向量机、软间隔（soft-margin svm）；非线性支持向量机、Kernel SVM。

SVM中存在三宝：间隔、对偶、核技巧。

2）模型优缺点

（1）SVM模型优点

支持向量机模型; SVM模型优缺点;

  • SVM 是一个凸优化问题，求得的解一定是全局最优而不仅仅是局部最优。

  • 不仅适用于线性问题，还适用于非线性问题（借助核技巧）。

  • 模型鲁棒性好，决策边界只取决于支持向量而不是全部数据集。

  • 中小样本量数据集上效果优异。

  • 无需依赖整个数据。

  • 泛化能力比较强。

（2）SVM模型缺点

  • 二次规划问题求解将涉及n阶矩阵的计算（其中n为样本的个数），计算量随样本量上涨厉害，因此 SVM 不适用于超大数据集。

  • 原始 SVM 仅适用于二分类问题。（当然， SVM 的推广SVR也适用于回归问题；我们也可以通过one-vs-one，one-vs-rest等思路组合 SVM 来解决多分类问题）。

  • 对非线性问题没有通用解决方案，有时候很难找到一个合适的核函数。

  • 对于核函数的高维映射解释力不强，尤其是径向基函数。

  • SVM 对缺失数据敏感。

3) SVM的损失函数

Hinge Loss 是机器学习领域中的一种损失函数，可用于“最大间隔(max-margin)”分类，其最著名的应用是作为SVM的目标函数。

在二分类的情况下，公式如下：
L(y) = max(0 , 1 – t⋅y)

其中，y是预测值(-1到1之间)，t为目标值(1或 -1)。其含义为，y的值在 -1到1之间即可，并不鼓励 |y|>1，即让某个样本能够正确分类就可以了，不鼓励分类器过度自信，当样本与分割线的距离超过1时并不会有任何奖励。目的在于使分类器更专注于整体的分类误差。

变种

在实际应用的时候，一方面，预测值y并不总是属于[-1,1]，也可能属于其他的取值范围；另一方面，很多时候我们希望训练的是两个元素之间的相似关系，而非样本的类别得分。

下面公式可能会更为常用：

L( y, y′) = max( 0, margin – (y–y′) )

更多监督学习的算法模型总结可以查看ShowMeAI的文章AI知识技能速查 | 机器学习-监督学习。

4.基于Python的 SVM 代码实践

1）算法包说明

我们这里直接借助于python机器学习工具包sklearn来演示 SVM 的应用，sklearn中对 SVM 的算法实现都包在 sklearn.svm 下面，具体见 sklearn 官方文档，其中 SVC 类是用来进行进行分类的任务，SVR 是用来进行数值回归任务的。

不同的核函数需要指定不同的参数。

2）使用线性核函数

import numpy as np
import matplotlib.pyplot as plt
from sklearn import svm, datasets
iris = datasets.load_iris()
X = iris.data[:, :2]  #只取前两维特征，方便可视化
y = iris.target
svc = svm.SVC(kernel='linear', C=1).fit(X, y)
x_min, x_max = X[:, 0].min() - 1, X[:, 0].max() + 1
y_min, y_max = X[:, 1].min() - 1, X[:, 1].max() + 1
h = (x_max / x_min) / 100
xx, yy = np.meshgrid(np.arange(x_min, x_max, h), np.arange(y_min, y_max, h))
plt.subplot(1, 1, 1)
Z = svc.predict(np.c_[xx.ravel(), yy.ravel()])
Z = Z.reshape(xx.shape)
plt.contourf(xx, yy, Z, cmap=plt.cm.Paired, alpha=0.8)
plt.scatter(X[:, 0], X[:, 1], c=y, cmap=plt.cm.Paired)
plt.xlabel('Sepal length')
plt.ylabel('Sepal width')
plt.xlim(xx.min(), xx.max())
plt.title('SVC with linear kernel')
plt.show()

支持向量机模型; 基于Python的SVM代码实践;

3）使用多项式核函数

初始化 SVM 对象的代码替换为下面这行

svc = svm.SVC(kernel='poly', degree=3).fit(X, y)

支持向量机模型; 基于Python的SVM代码实践;

4）使用rbf核函数（高斯核函数）

初始化 SVM 对象的代码替换为下面这行

svc = svm.SVC(kernel='rbf', C=1).fit(X, y)

支持向量机模型; 基于Python的SVM代码实践;

gamma 值越大，SVM 就会倾向于越准确的划分每一个训练集里的数据，这会导致泛化误差较大和过拟合问题。

支持向量机模型; 基于Python的SVM代码实践;

支持向量机模型; 基于Python的SVM代码实践;

_Devin_
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
机器学习sklearn----支持向量机SVC模型评估指标
weixin_43776305的博客
12-15 5006
文章目录前言混淆矩阵指标1准确率指标2精确度指标3召回率指标4F1-measure指标5假负率指标6特异度指标7假正率sklearn中的混淆矩阵 前言 前面一篇博文介绍了SVC处理二分类问题是怎么样来解决样本不均衡。这里我们要来将用什么指标来衡量模型的好坏 SVC提供的接口score是计算模型的准确率的，这个指标在样本均衡的情况下是完全适用的， 但是在遇到样本不均衡问题的时候就失去了意义，而我们日常面对的数据会有较多的不均衡， 面对这样的问题，我们需要采用新的模型评估指标，而我们的评估指标需要能够反映模型捕
机器学习之Dual SVM对偶支持向量机基本原理详解PPT
06-19
在机器学习领域，支持向量机（Support Vector Machines, SVM）是一种广泛应用的监督学习模型，尤其在分类和回归任务中表现出色。对偶支持向量机（Dual SVM）是SVM理论中的一个重要概念，它为解决高维空间中的非线性...
SVC的模型评估指标
sshi9的博客
03-18 3469
混淆矩阵 混淆矩阵是二分类问题的多维衡量指标体系，在样本不平衡时极其有用。在混淆矩阵中，我们将少数类认为是正 例，多数类认为是负例。在决策树，随机森林这些普通的分类算法里，即是说少数类是1，多数类是0。在SVM里， 就是说少数类是1，多数类是-1。普通的混淆矩阵，一般使用{0,1}来表示。 混淆矩阵中，永远是真实值在前，预测值在后。其实可以很容易看出，11和00的对角线就是全部预测正确的，01 和10的对角线就是全部预测错误的。 模型整体效果：准确率 准确率Accuracy就是所有预测正确的
SVC模型评估指标与ROC曲线
weixin_60200880的博客
10-29 3703
样本不均衡是只在一组数据集中，标签的其中一类占有很大的比例，但我们有着捕捉特定的分类需求的状况。比如，我们现在要对潜在犯罪者和普通人分类，潜在犯罪者占总人口的比例是相当低的，也许只有2%左右，98%的人都是普通人，而我们的目标是找出潜在犯罪者。这样的标签分布会带来许多问题：因为对于模型而言，样本量越大的标签可以学习的信息越多，算法就会更加依赖于从多数类中学到的信息来判断。如果我们希望捕获少数类，模型就会失败，
Machine Learning机器学习之向量机（Support Vector Machine，SVM）
a910247的博客
03-27 1275
支持向量机（Support Vector Machine，SVM）是由等人于1990年提出的一种监督学习算法。它的核心思想是通过在特征空间中找到一个最优的超平面来进行分类，使得两个类别的样本之间的间隔最大化。SVM 在分类、回归分析、异常检测等领域都有着广泛的应用。SVM 在高维空间中可以非常高效地进行分类，适用于数据维度较高的情况，如文本分类、图像分类等。SVM 的目标是最大化分类边界的间隔，因此具有较好的泛化能力，对于未见过的数据集也有较好的表现。
三、支持向量机算法(SVC，Support Vector Classification)（有监督学习）
beyond谚语的博客
09-20 4812
支持向量机Support Vector Machine，就是所谓的SVM，它指的是一系列的机器学习算法，根据解决问题的不同，分为SVC(分类)和SVR(回归)SVC，Support Vector Classification，其本质也是支持向量机，只不过是用于分类任务SVR，Support Vector Regression，其本质也是支持向量机，只不过是用于回归任务本专栏主要是分类算法的总结，主要介绍SVC（C-支持向量分类器）其实现基于libsvm。
支持向量机（三）二分类SVC中样本不均衡问题+SVC模型的评估指标（混淆矩阵+ROC曲线相关问题）
weixin_51589123的博客
11-05 4349
文章目录1 二分类SVC中的样本不均衡问题：重要参数class_weight1.1 SVC的参数：class_weight1.2 SVC的接口fit的参数：sample_weight2 SVC的模型评估指标2.1 混淆矩阵confusion matrix2.1.1 模型的整体效果：准确率2.1.2 捕捉少数类的艺术：Precision和Recall、F1 score2.1.3判错多数类的考量：特异度与假正率2.1.4 sklearn中的混淆矩阵2.2 ROC曲线相关问题2.2.1 概率和阈值2.2.2 SV
机器学习算法原理详解+代码实战
12-14
本资料主要讲述机器学习算法的基本原理，以及通过Python实现的算法实例 主要涉及算法：回归算法、决策树与集成算法、聚类算法、贝叶斯算法、支持向量机、推荐系统、主成分分析、EM算法、神经网络、时间序列分析、...
机器学习经典算法-logistic回归代码详解
09-20
Logistic回归是一种广泛应用的二分类模型，尤其在机器学习领域，它通过拟合一个Sigmoid函数来预测样本属于某一类别的概率。本文将深入探讨Logistic回归的理论基础以及如何使用Python进行实现。 首先，Logistic回归...
支持向量机SVM详解
10-10
详细的介绍了SVM分类算法，从数学推导过程到代买实现，文档内容均来自csdn博客整理
机器学习相关算法与例程
最新发布
05-25
编程实践例程：提供了Python、R等流行编程语言下的机器学习算法实现代码，包括决策树、支持向量机、聚类分析等。 数据预处理技巧：教授如何在机器学习项目中进行数据清洗、特征选择、特征工程等重要步骤。 模型评估...
kubernetes10（对象之service）
weixin_47678667的博客
11-12 285
kubernetes10（服务之service） 一.引子 当我们使用pod控制器创建出pod为其他pod提供服务的时候，我们如何保证服务一定能够被精准提供呢？在我们创建和删除Pod的过程中，我们的pod的IP是不断变化的。死亡一个pod，集群便会拉起一个pod。但是pod的IP是无法被继承的。这也是我们service出现的原因。一个服务的诞生一定是为了解决某个问题。 二.service的基本概念 （一）.service 定义及调用pod过程 Kubernetes Service定义了这样一种抽象:一个Po
Python实现支持向量机SVM分类模型(SVC算法)并应用网格搜索算法调优项目实战
京斗码农的博客
09-18 4717
Python实现支持向量机SVM分类模型(SVC算法)并应用网格搜索算法调优项目实战
SVM支持向量机分类模型SVC理论+python sklean.svm实践
SummerStoneS的博客
11-16 1万+
支持向量机是啥有一次公司项目上的同事一起吃饭（面前是一锅炒土鸡），提到了支持向量机，学文的同事就问支持向量机是什么，另一个数学物理大牛想了一下，然后说，一种鸡。。。确实很难一句话解释清楚这只鸡。。。support vector machine从字面意思来说应该是依靠support vector来划分数据（其实也能回归啦。。）的机器学习模型。它是一个凸优化问题。SVM的核心将数据的特征投射到高维，然后
用SVC模型完成对手写数字的分类
qq_42582489的博客
06-03 1423
用SVC模型进行红酒分类 文章目录用SVC模型进行红酒分类实验说明实验代码参数优化支持向量 实验说明 实验要求：使用SVC模型完成对手写数字的分类（ load_digits)，并使用评测指标 precision_score、 recall_score、f1_score 对分类结果评测。 实验环境：Pycharm Python版本：3.6 需要的第三方库：sklearn 实验代码 这里 SVC 模型采用的是高斯核函数 kernel=‘rbf’，惩罚系数 C=0.8。 我们采用 classification
2021-12-11
yangpei的博客
12-11 1349
吴恩达机器学习第六次作业 第一部分是针对线性可分数据利用线性SVM来进行分类，代码如下。 import numpy as np import pandas as pd import matplotlib.pyplot as plt from scipy.io import loadmat from sklearn.svm import SVC path = 'C:/Users/ASUS/Desktop/我的资源/data_sets/ex6data1.mat' data = loadmat(path) x
机器学习(四)：通俗理解支持向量机SVM及代码实践
caiyongji
02-15 592
上一篇文章我们介绍了使用逻辑回归来处理分类问题，本文我们讲一个更强大的分类模型。本文依旧侧重代码实践，你会发现我们解决问题的手段越来越丰富，问题处理起来越来越简单。 支持向量机(Support Vector Machine, SVM)是最受欢迎的机器学习模型之一。它特别适合处理中小型复杂数据集的分类任务。 一、什么是支持向量机 SMV在众多实例中寻找一个最优的决策边界，这个边界上的实例叫做支持向量，它们“支持”（支撑）分离开超平面，所以它叫支持向量机。 那么我们如何保证我们得到的决策边界是最优的呢？ 如上
机器学习——python scikit-learn SVC分类
热门推荐
sunny的专栏
12-24 1万+
scikit-learn SVC例子：https://scikit-learn.org/stable/modules/svm.html SVM可以用于分类、回归、异常检测。SVM库中包括SVC、LinearSVC接口 1.SVC函数介绍： ​ clf = svm.SVC(C=0.8, kernel='rbf', gamma=20, decision_function_shape='ovr'...
SVM、SVC、SVR三者的区别
xjp_xujiping的博客
06-16 1万+
支持向量机一直都是机器学习的重要工具，仅仅学会调包的同学一定经常遇到这些缩写SVM、SVR、SVC。使用时经常会用到，但又不知道什么意思，仅仅学会调包调参数不是一个机器学习者的能力体现，但完全搞懂他们的数学公式、学会复现出算法也是没有必要的。 知乎上关于什么是支持向量机的解释有很多，主要为为大家总结一下这三者的区别，同时介绍在python-sklearn中的应用。 1.SVM-支持向量机 什么是超平面 SVM with polynomial kernel 可视化_腾讯视频​v.qq.com 主要功
目前最热门的机器学习算法
09-14
除了随机森林，还有其他一些热门的机器学习算法，例如支持向量机（Support Vector Machines, SVM），逻辑回归（Logistic Regression），决策树（Decision Trees）以及深度学习算法，如神经网络（Neural Networks）和...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值