传统机器学习算法-支持向量机模型详解

已于 2023-02-12 20:39:19 修改
阅读量1.2k 收藏 1
点赞数
分类专栏： 算法分析 实用技术 文章标签： 算法
于 2022-12-09 21:37:07 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u013451076/article/details/128259404
版权

原文链接

引言

本篇我们要讲解的模型是大名鼎鼎的支持向量机 SVM，这是曾经在机器学习界有着近乎「垄断」地位的模型，影响力持续了好多年。直至今日，即使深度学习神经网络的影响力逐渐增强，但 SVM 在中小型数据集上依旧有着可以和神经网络抗衡的极好效果和模型鲁棒性。

支持向量机学习方法，针对不同的情况，有由简至繁的不同模型：

  • 线性可分支持向量机（linear support vector machine in linearly separable case）：训练数据线性可分的情况下，通过硬间隔最大化（hard margin maximization），学习一个线性的分类器，即线性可分支持向量机（亦称作硬间隔支持向量机）。

  • 线性支持向量机（linear support vector machine）：训练数据近似线性可分的情况下，通过软间隔最大化（soft margin maximization），学习一个线性的分类器，称作线性支持向量机（又叫软间隔支持向量机）。

  • 非线性支持向量机（non-linear support vector machine）：训练数据线性不可分的情况下，通过使用核技巧（kernel trick）及软间隔最大化，学习非线性分类器，称作非线性支持向量机。

    支持向量机可以借助核技巧完成复杂场景下的非线性分类，当输入空间为欧式空间或离散集合、特征空间为希尔贝特空间时，核函数（kernel function）表示将输入从输入空间映射到特征空间得到的特征向量之间的内积。

    通过使用核函数可以学习非线性支持向量机，等价于隐式地在高维的特征空间中学习线性支持向量机。这样的方法称为核技巧。

    1.最大间隔分类器

    1）分类问题与线性模型

    分类问题是监督学习的一个核心问题。在监督学习中，当输出变量取有限个离散值时，预测问题便成为分类问题。

     实际生活中，有很多问题的本质都是分类，如识别某种模式：文本分类、分词、词性标注、图像内容识别和目标检测等。

    分类问题的数学理解是空间划分（或者寻找不同类别的决策边界），如图所示是一个简单的线性分类器（这部分更详细的讲解参考ShowMeAI文章 图解机器学习 | 机器学习基础知识 和 图解机器学习 | 逻辑回归算法详解）。

    2）最大间隔分类器

    不同的模型在解决分类问题时，会有不同的处理方式，直观上看，我们会使用不同的决策边界对样本进行划分。

    如图中「冰墩墩」与「雪容融」两类样本点，我们对其进行分类，可以完成该分类任务的决策边界有无数个。而我们这里介绍到的 SVM 模型，要求更高一些，它不仅仅希望把两类样本点区分开，还希望找到鲁棒性最高、稳定性最好的决策边界（对应图中的黑色直线）。

     

  • 这个决策边界与两侧「最近」的数据点有着「最大」的距离，这意味着决策边界具有最强的容错性，不容易受到噪声数据的干扰。直观的理解就是，如果决策边界抖动，最不容易「撞上」样本点或者进而导致误判。 

  • 2.支持向量机详解

     1）线性可分 SVM 与硬间隔最大化

       

 我们希望这条直线满足「最大间隔」原则，也就是如下图的形态。图中位于红色和蓝色线上的图标就是所谓的支持向量（support vector）。

 

 （1）几何间隔

 （2）对偶算法

 求解线性可分支持向量机的最优化问题，我们很多时候会将它转化为对偶问题（dual problem）来求解，也就是应用「拉格朗日对偶性」，通过求解「对偶问题（dual problem）」得到「原始问题（primal problem）」的最优解，即线性可分支持向量机的对偶算法（dual algorithm）。

这样做有一些优点：

  • 对偶问题往往更容易求解。
  • 引入自然核函数，进而可以推广到非线性分类问题。

 

 

2）线性 SVM 与软间隔最大化

我们前面提到的是线性可分的情况，但实际应用中完全线性可分的情况太少见了。如下图就是一个典型的线性不可分的分类图（我们没有办法找到一条直线，把空间划分为2个区域，一个区域只有黑点，一个区域只有白点）。

要对其进行切分，有2种方案：

方案1：用曲线去将其完全分开，即非线性的决策边界，这会和之后谈到的核函数关联。

方案2：还是使用直线，不过不追求完全可分，会适当包容一些分错的情况，在这个过程中我们会在模型中加入惩罚函数，尽量让分错的点不要太多太离谱。对分错点的惩罚函数就是这个点到其正确位置的距离，如下图所示：

 图上黄色、蓝色的直线分别为支持向量所在的边界，黑色的线为决策函数，那些绿色的线表示分错的点到其相应的决策面的距离，这样我们可以在原函数上面加上一个惩罚函数，并且带上其限制条件为：

 3）非线性 SVM 与核函数

如果我们要处理的分类问题更加复杂，甚至不能像上面一样近似线性可分呢，这种情况下找到的超平面分错的程度太高不可接受。

对于这样的问题，一种解决方案是将样本从原始空间映射到一个更高维的特征空间，使得样本在这个特征空间内线性可分，然后再运用 SVM 求解，如下图所示：

比如下图中的典型线性不可分的情况：

 

 支持向量机模型; 非线性SVM与核函数;

 上述两个核函数分别为多项式核和高斯核，高斯核甚至是将原始空间映射为无穷维空间，另外核函数有一些比较好的性质，比如说不会比线性条件下增加多少额外的计算量，等等，此处我们不深入。对于一个问题，不同的核函数可能会带来不同的结果，我们需要做一些尝试来支撑选择（关于这个部分，大家可以看最下方的 python 实现部分）。

3. SVM 总结

1）模型总结

支持向量机（Support vector machines, SVM）是一种二分类模型，它的基本模型是定义在特征空间上的间隔最大的线性分类器，他的学习策略就是间隔最大化，同时该方法可以形式化为一个求解图二次规划。

支持向量机模型; SVM模型总结;

SVM由简至繁可分为三类：线性可分支持向量机、硬间隔（hard-margin svm）；线性支持向量机、软间隔（soft-margin svm）；非线性支持向量机、Kernel SVM。

SVM中存在三宝：间隔、对偶、核技巧。

2）模型优缺点

（1）SVM模型优点

支持向量机模型; SVM模型优缺点;

  • SVM 是一个凸优化问题，求得的解一定是全局最优而不仅仅是局部最优。

  • 不仅适用于线性问题，还适用于非线性问题（借助核技巧）。

  • 模型鲁棒性好，决策边界只取决于支持向量而不是全部数据集。

  • 中小样本量数据集上效果优异。

  • 无需依赖整个数据。

  • 泛化能力比较强。

（2）SVM模型缺点

  • 二次规划问题求解将涉及n阶矩阵的计算（其中n为样本的个数），计算量随样本量上涨厉害，因此 SVM 不适用于超大数据集。

  • 原始 SVM 仅适用于二分类问题。（当然， SVM 的推广SVR也适用于回归问题；我们也可以通过one-vs-one，one-vs-rest等思路组合 SVM 来解决多分类问题）。

  • 对非线性问题没有通用解决方案，有时候很难找到一个合适的核函数。

  • 对于核函数的高维映射解释力不强，尤其是径向基函数。

  • SVM 对缺失数据敏感。

3) SVM的损失函数

Hinge Loss 是机器学习领域中的一种损失函数，可用于“最大间隔(max-margin)”分类，其最著名的应用是作为SVM的目标函数。

在二分类的情况下，公式如下：
L(y) = max(0 , 1 – t⋅y)

其中，y是预测值(-1到1之间)，t为目标值(1或 -1)。其含义为，y的值在 -1到1之间即可，并不鼓励 |y|>1，即让某个样本能够正确分类就可以了，不鼓励分类器过度自信，当样本与分割线的距离超过1时并不会有任何奖励。目的在于使分类器更专注于整体的分类误差。

变种

在实际应用的时候，一方面，预测值y并不总是属于[-1,1]，也可能属于其他的取值范围；另一方面，很多时候我们希望训练的是两个元素之间的相似关系，而非样本的类别得分。

下面公式可能会更为常用：

L( y, y′) = max( 0, margin – (y–y′) )

更多监督学习的算法模型总结可以查看ShowMeAI的文章AI知识技能速查 | 机器学习-监督学习。

4.基于Python的 SVM 代码实践

1）算法包说明

我们这里直接借助于python机器学习工具包sklearn来演示 SVM 的应用，sklearn中对 SVM 的算法实现都包在 sklearn.svm 下面，具体见 sklearn 官方文档，其中 SVC 类是用来进行进行分类的任务，SVR 是用来进行数值回归任务的。

不同的核函数需要指定不同的参数。

2）使用线性核函数

import numpy as np
import matplotlib.pyplot as plt
from sklearn import svm, datasets
iris = datasets.load_iris()
X = iris.data[:, :2]  #只取前两维特征，方便可视化
y = iris.target
svc = svm.SVC(kernel='linear', C=1).fit(X, y)
x_min, x_max = X[:, 0].min() - 1, X[:, 0].max() + 1
y_min, y_max = X[:, 1].min() - 1, X[:, 1].max() + 1
h = (x_max / x_min) / 100
xx, yy = np.meshgrid(np.arange(x_min, x_max, h), np.arange(y_min, y_max, h))
plt.subplot(1, 1, 1)
Z = svc.predict(np.c_[xx.ravel(), yy.ravel()])
Z = Z.reshape(xx.shape)
plt.contourf(xx, yy, Z, cmap=plt.cm.Paired, alpha=0.8)
plt.scatter(X[:, 0], X[:, 1], c=y, cmap=plt.cm.Paired)
plt.xlabel('Sepal length')
plt.ylabel('Sepal width')
plt.xlim(xx.min(), xx.max())
plt.title('SVC with linear kernel')
plt.show()

支持向量机模型; 基于Python的SVM代码实践;

3）使用多项式核函数

初始化 SVM 对象的代码替换为下面这行

svc = svm.SVC(kernel='poly', degree=3).fit(X, y)

支持向量机模型; 基于Python的SVM代码实践;

4）使用rbf核函数（高斯核函数）

初始化 SVM 对象的代码替换为下面这行

svc = svm.SVC(kernel='rbf', C=1).fit(X, y)

支持向量机模型; 基于Python的SVM代码实践;

gamma 值越大，SVM 就会倾向于越准确的划分每一个训练集里的数据，这会导致泛化误差较大和过拟合问题。

支持向量机模型; 基于Python的SVM代码实践;

支持向量机模型; 基于Python的SVM代码实践;

_Devin_
关注
专栏目录
机器学习算法/模型——支持向量机
Robin_Pi的博客
02-22 4555
支持向量机线性SVM（软间隔的SVM）概念/术语核函数SVM模型 支持向量机（简称SVM）是一个功能强大并且全面的机器学习模型，它能够执行线性或非线性分类、回归，甚至是异常值检测任务。 支持向量机的主要目标是得到一条能用于分组的最佳分界线。 线性SVM（软间隔的SVM） 概念/术语 超平面 支持向量 在寻找最佳分界线的过程中起了支持作用的数据点。 硬间隔、软间隔 硬间隔：正负样本之间的...
图解机器学习算法(12) | 支持向量机模型详解（机器学习通关指南·完结）
热门推荐
ShowMeAI研究中心
03-10 1万+
SVM是机器学习领域非常知名的模型。本文讲解SVM的最大间隔分类器、模型原理、核函数与核技巧等重要知识点，并附上线性核函数、多项式核函数和高斯核函数的Python代码实践。
深度学习模型与传统机器学习模型相比有何优势？
qq_24766857的博客
10-05 961
例如，卷积神经网络（CNNs）可以自适应地学习到图像中的边缘、纹理等低级特征，并在此基础上构建更复杂的高级特征。：对于高度非线性的复杂模式识别任务，如语音识别、自然语言处理、计算机视觉等领域，深度学习模型由于其深层架构而表现出色。：虽然特定类型的深度学习模型针对某些应用特别有效（如CNNs用于图像），但许多架构具备相当大的灵活性，可以通过简单的修改来应用于不同领域的问题。：随着计算资源的增加以及可用数据量的增长，深度学习模型能够利用大规模的数据集进行训练，从而获得更好的泛化能力。
过拟合与过拟合的经典例子
ywj_1991的博客
10-17 688
本节通过概念解析与可视化例子，讲述什么是过拟合什么是过拟合过拟合是指在由于过度拟合训练数据，导致模型过于复杂，以致于在测试数据上预测效果不好正因此，过拟合也称为缺失泛化能力过拟合例子常用于解析过拟合的有两个例子曲线拟合可以看到，过拟合时，模型虽然在训练数据上拟合得更好，但拟合出的曲线已经偏离了原本形态平面分类可以看到，过拟合时，模型虽然在训练数据上达到更好的效果，但这种"更好的效果"是通过"勉强而为之"换取而来的，它对模型真实应用时有害无益。
支持向量机模型（超详细，含案例代码）
JiaYu的博客
12-12 9964
支持向量机（Support Vector Machine，SVM）是一种在机器学习领域中用于分类和回归分析的强大算法。它是一种监督学习算法，其目标是在特征空间中找到一个超平面，将不同类别的数据点分开，同时最大化分类边界的间隔。SVM 的基本思想是找到能够有效划分数据的超平面，即在高维空间中的一个（d-1）维子空间，其中 d 是特征的数量。为了找到这个最佳的超平面，SVM 使用支持向量，即离超平面最近的一些数据点。这些支持向量决定了超平面的位置和方向。
【机器学习】支持向量机模型实现
phd的专栏
11-17 2699
文章目录数据准备支持向量机三部曲线性可分支持向量机线性支持向量机非线性支持向量机SVM模型实现总结 数据准备 为了验证SVM模型实现和sklearn的正确性，文中使用的是随机生成的100组数据，便于画图进行对比，数据在SVM文件夹当中：https://github.com/phdsky/ML/blob/master/svm/dataset.txt 本文主要实现的是带有软间隔的线性支持向量机，因此...
机器学习算法[5]--支持向量机原理详解及sklearn实现
Gthan
06-30 1478
对机器学习算法-支持向量机进行总结，包括支持向量分类和支持向量回归原理详解和sklearn的实现
svc支持向量机分类模型、NuSVC支持向量机分类模型、sklearn.svm支持向量机分类模型
01-11
支持向量机（SVM）是一种流行的监督学习算法，用于分类和回归任务。在Python的机器学习库scikit-learn（sklearn）中，SVM提供了多种实现，包括`SVC`、`NuSVC`和`LinearSVC`。 ### 1. SVC支持向量机分类模型 `SVC`...
机器学习技法Primal SVM线性支持向量机原理详解PPT
06-19
线性支持向量机（Linear Support Vector Machine, 简称LSVM）是机器学习领域中一种重要的分类算法。它的核心思想是寻找一个能够最大化类别间间隔的超平面，以此来构建一个鲁棒且具有良好泛化能力的模型。在本课程中...
MATLAB实现WOA-SVM鲸鱼算法优化支持向量机多输入单输出回归预测（含完整的程序和代码详解）
最新发布
10-20
内容概要：本文详细介绍了一种利用鲸鱼优化算法（WOA）优化支持向量机（SVM）进行多输入单输出回归预测的方法。具体步骤包括：初始化鲸鱼位置、适应度评估、更新位置、模型训练、评估指标计算以及结果可视化。文章还...
支持向量机模型
08-30
支持向量机(英语：Support Vector Machine，常简称为SVM)是一种监督式学习的方法，可广泛地应用于统计分类以及回归分析。它是Corinna Cortes和Vapnik等于1995年首先提出的，它在解决小样本、非线性及高维模式识别中表现出许多特有的优势，并能够推广应用到函数拟合等其他机器学习问题中。这族分类器的特点是他们能够同时最小化经验误差与最大化几何边缘区，因此支持向量机也被称为最大边缘区分类器。
机器学习——支持向量机SVM
AAI666666的博客
01-16 2704
支持向量机（SVM）是一种二类分类模型，其基本模型是在特征空间上找到最佳的分离超平面使得训练集上正负样本间隔最大，间隔最大使它有别于感知机，支持向量机也可通过核技巧使它成为非线性分类器。
Machine Learning机器学习之向量机（Support Vector Machine，SVM）
a910247的博客
03-27 1639
支持向量机（Support Vector Machine，SVM）是由等人于1990年提出的一种监督学习算法。它的核心思想是通过在特征空间中找到一个最优的超平面来进行分类，使得两个类别的样本之间的间隔最大化。SVM 在分类、回归分析、异常检测等领域都有着广泛的应用。SVM 在高维空间中可以非常高效地进行分类，适用于数据维度较高的情况，如文本分类、图像分类等。SVM 的目标是最大化分类边界的间隔，因此具有较好的泛化能力，对于未见过的数据集也有较好的表现。
数学建模——支持向量机模型详解Python代码
qq_45934521的博客
07-25 1240
数学建模——支持向量机模型详解Python代码 from numpy import * import random import matplotlib.pyplot as plt import numpy def kernelTrans(X,A,kTup): # 核函数(此例未使用) m,n=shape(X) K = mat(zeros((m,1))) if kTup[0] =='lin': K=X*A.T elif
机器学习——支持向量机模型
Jeremiah_的博客
10-11 2162
在样本空间中，划分超平面可通过如下线性方程来描述 其中为法向量，决定了超平面的方向；为位移项，决定了超平面与原点之间的距离。样本空间中任意点到超平面的距离为 假设超平面能将样本正确分类，即对于，若，则有；若，则有。我们把使得当时，的样本点，以及使得当时，的样本点称为“支持向量”，两个异类支持向量到超平面的距离之和为 它被称为“间隔”。 欲找到具有“最大间隔”划分的超平面，也就是要找到能满足约束条件的参数和，使得最大，即 显然，为了最大化间隔，仅需最大化，这等价于最小化。于是..
机器学习--支持向量机模型
J
01-09 1771
SVM简介 通俗的解释： 给定两组不同类别的数据点，找一个超平面把他们分割开，并希望这个超平面离这两组数据点的距离尽可能大。这样，我们就认为超平面一侧是一个类别。另一侧则是另一个类别。当新来一个数据点时，只需看它在这个分割平面的那一侧，就可以预测其类别。 任务类型： 通常用来处理有监督的分类问题，即需要一定的类别标注的训练集来确定超平面，然后对没有标注的样本进行类别预测。SVM既可以处理两类别分类问题，也可以通过对类别进行划分，处理多类别分类问题。 支持向量机算法的基本流程 代码实现 fro..
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值