SVM知识点总结_一篇文章，面试全过

最新推荐文章于 2022-04-14 16:05:16 发布
最新推荐文章于 2022-04-14 16:05:16 发布
阅读量2.1k 收藏 11
点赞数 1
分类专栏： 算法 机器学习 python基础 文章标签： 机器学习 算法 支持向量机
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/un_lock/article/details/108061034
版权
机器学习 同时被 3 个专栏收录
28 篇文章 3 订阅
订阅专栏
python基础
23 篇文章 0 订阅
订阅专栏
算法
14 篇文章 1 订阅
订阅专栏

SVM知识点总结

SVM的原理是什么？

​ SVM是一种二类分类模型。它的基本模型是在特征空间中寻找间隔最大化的分离超平面的线性分类器。（间隔最大是它有别于感知机）

  • 当训练样本线性可分时，通过**硬间隔[2]**最大化，学习一个线性分类器，即线性可分支持向量机；
  • 当训练数据近似线性可分时，引入松弛变量，通过**软间隔[3]**最大化，学习一个线性分类器，即线性支持向量机；
  • 当训练数据线性不可分时，通过使用核技巧及软间隔最大化，学习非线性支持向量机。
SVM为什么采用间隔最大化？

​ 当训练数据线性可分时，存在无穷个分离超平面可以将两类数据正确分开，支持向量机利用间隔最大化求得分离超平面，它的分类结果是最鲁棒的，对未知实例的泛化能力也最强。

为什么要将求解SVM的原始问题转换为其对偶问题？
  • ​ 带约束的原问题求解比较困难，变成对偶问题可以把约束条件和待优化的目标融合在一个表达式里面
  • ​ 拉格朗日对偶问题一般是凹函数（求最大值），即使原问题是非凸的，变成对偶问题更容易优化求解
  • ​ 自然引入核函数，进而推广到非线性分类问题。
为什么对偶问题更加高效

因为对偶问题只用求解alpha系数，而alpha系数中0占绝大部分，只有支持向量非零，其他全部为零

alpha系数有多少

样本点的个数

为什么SVM要引入核函数？

​ 当样本在原始空间线性不可分时，可将样本从原始空间映射到一个更高维的特征空间，使得样本在这个特征空间内线性可分。

​ 引入映射后的对偶问题：

​ 在学习预测中，只定义核函数K(x,y)，而不是显式的定义映射函数。因为特征空间维数可能很高，甚至可能是无穷维，因此直接计算映射函数是比较困难的。相反，直接计算核函数)比较容易（即直接在原来的低维空间中进行计算，而不需要显式地写出映射后的结果）。

​ 核函数的定义：K(x,y)=<ϕ(x),ϕ(y)>，即特征空间的内积等于它们在原始样本空间中通过核函数K计算的结果。

为什么SVM对缺失数据敏感？

​ 这里说的缺失数据是指缺失某些特征数据，向量数据不完整。SVM没有处理缺失值的策略（决策树有）。而SVM希望样本在**特征空间[1]**中线性可分，所以特征空间的好坏对SVM的性能很重要。缺失特征数据将影响训练结果的好坏。

SVM的泛化误差代表什么？

​ SVM对新数据的预测准确度。

SVM的惩罚因子C

​ C是一个由用户指定的系数，表示对分错的点加入惩罚的程度，当C很大的时候，分错的点就会很少，但是过拟合的情况可能比较严重，但是当C很小的时候，分错的点可能会很多，此时的模型也会不太准确。大部分情况C的选择是通过经验尝试得到的。

​

​ C同时也代表了分类准确性和模型复杂度之间的权衡。

​ 当数据存在很多误差，同时设置C为无穷大时，数据仍可正确分类，不过会存在过拟合问题。

过拟合方差过大偏差过小
四分类问题，你要用One-vs-all策略训练一个SVM的模型，需要训练积分SVM模型

4个，需要为每一个类建立一个唯一的分器

但是如果时二分类问题，则只需要训练一个SVM模型

SVM算法的最小时间复杂度是多少？

O(n2)，所以SVM不适合大数据集

SVM算法的性能取决于
  • 核函数的选择
  • 核函数的参数
  • 软间隔参数C
核函数：

将低维空间映射到高维空间

他是一个相似度函数

[1]特征空间

从特征提取中发现从原始数据中提取特征是将原始数据映射到一个更高维的空间，特征空间中的特征是从原始数据更高维的抽象。特征工程主要需要解决的问题是对具体的问题构建出适合表示该问题的特征。

映射到高维

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-mzImEKez-1597657945839)(C:\Users\kingdom\AppData\Roaming\Typora\typora-user-images\image-20200815150410712.png)][外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-KR6SrvS7-1597657945841)(C:\Users\kingdom\AppData\Roaming\Typora\typora-user-images\image-20200815150422934.png)]

[2]硬间隔

​ 硬间隔只允许出现极小的误差，这通常会引起过拟合

​ 硬间隔svm模型的建立是基于数据为“线性可分”的，约束条件可以保证两类样本分别位于两条绿色虚线的两侧，所有样本点都被正确的分类。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-lEA76GqO-1597657945844)(C:\Users\kingdom\AppData\Roaming\Typora\typora-user-images\image-20200815160713016.png)]

[3]软间隔

​ 决策平面是绿色实线，约束条件为蓝色虚线，且红色样本点在红色箭头一侧即可，紫色样本点在紫色箭头一侧即可。

​ 同时引入松弛变量，即偏离绿色虚线的函数距离（绿色虚线到决策平面的距离为1），松弛两越大表示样本点可以偏离绿色虚线的距离越远，如果松弛变量大于1，表示样本可以越过决策平面，即允许该样本热闹点被分错。

在红色箭头一侧即可，紫色样本点在紫色箭头一侧即可。

​ 同时引入松弛变量，即偏离绿色虚线的函数距离（绿色虚线到决策平面的距离为1），松弛两越大表示样本点可以偏离绿色虚线的距离越远，如果松弛变量大于1，表示样本可以越过决策平面，即允许该样本热闹点被分错。

​ C惩罚因子表示在目标函数中松弛变量的权重，C和惩罚因子成反比。

un_lock
关注
  • 1
    点赞
  • 踩
  • 11
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
算法知识点——（3）监督学习——SVM
Lynqwest的博客
09-17 2657
目录 一、支持向量机原理 1. SVM目标 2. 距离与数据定义 3. 目标函数推导 4. 目标函数求解 4.1 KKT条件 4.2 拉格朗日乘子法——强对偶性 4.3 拉格朗日乘子法—— 求解 4.4 SMO算法——求解max () 5. 软间隔 6. SVM核变换 二、常见问题 1. LR和SVM区别 2. SVM损失函数 3. SVM的原理是什么？ 4. 对偶...
一文搞懂机器学习算法中SVM的知识点
爱喝舒化奶的博客
03-14 708
什么是对偶问题？ 在引入拉格朗日算子之后，本来是要求w,b的最小值函数，方法是对w,b分别求偏导数，得出w,b然后带入 拉格朗日方程就可以消除w,b。 这时候我们引入对偶问题，即在消除w,b的基础上，对拉格朗日方程求a极大时的结果。 简而言之，对偶问题就是拉格朗日方程的极大极小问题。 ...
SVM整理
AcceptedLin的博客
07-15 363
SVM(Support Vector Machine)，支持向量机，有监督学习模型，一种分类模型。在特征空间（输入空间为欧式空间或离散集合，特征空间为欧式空间或希尔伯特空间）中寻找间隔最大化的分离超平面的线性分类器。学习策略就是间隔最大化，可形式化为一个求解凸二次规划(QP)的问题，也等价于正则化的合页损失函数的最小化问题。针对数据特点，处理方法或者说原理是：(1).当训练样本线性可分时，通过硬间...
SVM知识点汇总
10-01 185
目录 1.简单描述SVM（线性可分SVM的求解） 2.线性SVM 3.非线性SVM 1. 简单描述SVM SVM是一个分类算法，通过寻找一个分离超平面，将正负样本分开，并且正负样本到超平面的间隔最大。分离超平面可以用y = wx + b来描述，样本到超平面的相对距离可以用函数间隔r = | wx + b |描述。当y+ = 1, y - = -1时，r = |...
SVM知识点
WangYouJin321的博客
03-19 270
SVM 原理 SVM 是一种二类分类模型。它的基本思想是在特征空间 中寻找间隔最大的分离超平面使数据得到高效的二分类， 具体来讲，有三种情况（不加核函数的话就是个线性模型， 加了之后才会升级为一个非线性模型）： 当训练样本线性可分时，通过硬间隔最大化，学习一个线性分类器，即线性可分支持向量机； 当训练数据近似线性可分时，引入松弛变量，通过软间隔最大化，学习一个线性分类器， 即线性支持向量机； ...
SVM知识点简介
xiaomeng29的博客
05-05 598
support vectormachine（SVM）算法在金融等多个领域都有广泛的应用，下面我们就来介绍下SVM算法的基本知识点 SVM算法思想 回顾LR算法，分类器其实是一个概率模型，当h(x) > 0.5，我们说样本属于正类，反之则为负类。但是对于h(x)= 0.5，你可以很自信的说该样本属于哪个类别吗？所以，LR分类判别算法应该存在一个“置信度”的量，比如，如果（当然会小于1，...
svm.rar_SVM_svm回归_一元回归
09-21
支持向量机（SVM，Support Vector Machine）是一种在机器学习领域广泛应用的监督学习模型，尤其在分类和回归任务中表现出色。SVM的核心思想是找到一个最优的超平面，将不同类别的数据尽可能地分开，同时保持最大的...
SVM.rar_SVM 点_SVM分类_svm matlab_svm matlab两类_svm算法实现
09-22
SVM的核心思想是找到一个最优超平面，将不同类别的数据点分开。这个超平面是距离两类数据点最近的距离最大化的边界，确保了分类的鲁棒性。在二维空间中，这个超平面可以表示为一条直线；在高维空间中，它可能是一个...
svm.rar_SVM_classification svm_svm classification_wine_wine svm
09-23
支持向量机（SVM，Support Vector Machine）是一种在机器学习领域广泛应用的监督学习模型，尤其在分类问题中表现出色。在这个"svm.rar"压缩包中，包含的是一个关于使用SVM进行葡萄酒（wine）数据集分类的示例。这个...
CNN-SVM_SVMCNN_SVM特征提取_SVM_python_SVM分类_源码.zip
09-30
SVM是一种监督学习模型，尤其在小样本、非线性及高维模式识别中表现优秀。而CNN则是深度学习领域用于图像处理和计算机视觉任务的核心模型。在本项目中，两者可能被用来进行特征提取和分类。 描述中提到的"SVM特征...
SVM.rar_matlab描点_svm 线性_描点
09-21
总结来说，"SVM.rar_matlab描点_svm 线性_描点" 提供的是一个使用MATLAB实现的SVM线性分类实例，通过在二维坐标上描点展示数据分布和决策边界，帮助学习者理解线性SVM的工作原理和其在解决线性可分问题时的表现。...
SVM知识点整理（持续更新...）
qq_24263553的博客
03-24 694
1. SVM的原理是什么？ SVM是一种二类分类模型。它的基本模型是在特征空间中寻找间隔最大化的分离超平面的线性分类器。（间隔最大是它有别于感知机） （1）当训练样本线性可分时，通过硬间隔最大化，学习一个线性分类器，即线性可分支持向量机； （2）当训练数据近似线性可分时，引入松弛变量，通过软间隔最大化，学习一个线性分类器，即线性支持向量机； （3）当训练数据线性不可分时，通过使用核技巧及软间隔最大...
SVM支持向量机知识点
weixin_37823499的博客
04-14 1196
简述支持向量机SVM 普遍意义上的SVM是一个二分类线性分类器，它的学习策略是：“在分类超平面的正负两边各找到一个离分类超平面最近的点（也就是支持向量），使得这两个点距离分类超平面的距离和最大。 过程如下：1）从分类平面到求两类间的最大间隔： 到转化为求间隔分之一等优化问题: ​​​​​​​​​​​​​​​​​​​​​​​​​​​​​​​​​​​ ...
SVM几种核函数的对比分析以及SVM算法的优缺点
qq_29462849的博客
04-25 4万+
SVM核函数的作用 SVM核函数是用来解决数据线性不可分而提出的，把数据从源空间映射到目标空间（线性可分空间）。 SVM中核函数的种类 1、线性核 优点： 方案首选，奥卡姆剃刀定律 简单，可以求解较快一个QP问题 可解释性强：可以轻易知道哪些feature是重要的 限制：只能解决线性可分问题 2、多项式核 基本原理：依靠升维使得原本线性不可分的数据线性可分； 升维的意义：使得原本线性不可分的数...
机器学习面笔试-SVM篇
西檬饭
08-28 709
1.SVM的基本思想： 间隔最大化来得到最优分离超平面。方法是将这个问题形式化为一个凸二次规划问题，还可以等价位一个正则化的合页损失最小化问题。SVM又有硬间隔最大化和软间隔SVM两种。这时首先要考虑的是如何定义间隔，这就引出了函数间隔和几何间隔的概念（这里只说思路），我们选择了几何间隔作为距离评定标准（为什么要这样，怎么求出来的要知道），我们希望能够最大化与超平面之间的几何间隔x，同时要求所有...
关于SVM的难点解读
良言的博客
06-02 2339
在各种对SVM的讲解中，有一个知识点都讲得不够透彻：SVM的目标函数是最大化支持向量的几何间隔，但怎么最后就变成了最小化法向量（斜率）了呢？        可以想像一下，一个超平面，斜率和截距以相同的倍数增大，这个超平面是不变的。也就是说，一个固定的超平面的参数却是不固定的。在我们求最优超平面时，解空间也就变成了无穷大。我们当然可以通过预先给这些参数设定一些约束来缩小解空间。那么，这个约束就是：
支持向量机（SVM）知识点总结
qq_39129014的博客
05-06 1253
支持向量机（SVM）知识点总结 什么是支持向量机：svm是一种二分类模型，它的基本思想是在特征空间中寻找一个间隔最大化的超平面来进行完成数据的分类，分为三种情况 当训练样本线性可分时，通过硬间隔最大化，学习一个线性分类器，即线性可分支持向量机。 当训练样本近似线性可分时，引入松弛变量，通过软间隔最大化，学习一个线性分类器，即线性支持向量机。 当训练样本线性不可分时，通过核函数以及软间隔最大化，学习一个非线性支持向量机。 svm为什么采用间隔最大化：当训练数据线性可分时，存在无数个超平面可以将两类数据正确
支持向量机知识点整理
大锅八十小锅四十
01-17 960
SVM 知识框架 SVM的原理是什么？ 有别于感知机，SVM在特征空间中寻找间隔最大化的分离超平面的线性分类器 SVM为什么采用间隔最大化？ 超平面可以有无穷多个，但是几何间隔最大的分离超平面是唯一的，这样的分类结果也是鲁棒的，对未知实例的泛化能力最强。 什么是支持向量？ 对于硬间隔，支持向量就是间隔边界上的样本点 对于软间隔，支持向量就是间隔边界、间隔带内、分离超平面误分类一侧的样本
SVM支持向量机算法介绍
热门推荐
飘过的春风
12-27 4万+
       如果你是一名模式识别专业的研究生，又或者你是机器学习爱好者，SVM是一个你避不开的问题。如果你只是有一堆数据需要SVM帮你处理一下，那么无论是Matlab的SVM工具箱，LIBSVM还是python框架下的SciKit Learn都可以提供方便快捷的解决方案。但如果你要追求的不仅仅是会用，还希望挑战一下“理解”这个层次，那么你就需要面对一大堆你可能从来没听过的名词，比如：非线性约束条...
python svm算法smo cifar_使用smo算法编写svm对CIFAR-10数据分类
最新发布
05-16
SVM算法通过将数据映射到高维空间，将数据分为两个类别。SVM算法的目标是找到一个超平面，可以将数据分为两个类别。SMO算法是一种优化算法，用于求解SVM中的二次规划问题。下面介绍如何使用SMO算法编写SVM对CIFAR-10数据进行分类。 首先，我们需要加载CIFAR-10数据集。CIFAR-10数据集包含10个类别的60000个32x32彩色图像。每个类别包含6000个图像。我们将使用Python中的pickle模块来加载数据集。以下是加载数据集的代码： ```python import pickle import numpy as np def unpickle(file): with open(file, 'rb') as fo: dict = pickle.load(fo, encoding='bytes') return dict def load_cifar10_data(): xs = [] ys = [] for j in range(5): d = unpickle('cifar-10-batches-py/data_batch_%d' % (j + 1)) x = d[b'data'] y = d[b'labels'] xs.append(x) ys.append(y) d = unpickle('cifar-10-batches-py/test_batch') xs.append(d[b'data']) ys.append(d[b'labels']) x = np.concatenate(xs) / np.float32(255) y = np.concatenate(ys) return x.reshape((len(x), -1)), np.array(y) ``` 接下来，我们将使用SMO算法来训练SVM模型。以下是使用SMO算法训练SVM模型的代码： ```python class SVM: def __init__(self, C, toler, kernel_opt=('linear', 0)): self.C = C self.toler = toler self.kernel_opt = kernel_opt def fit(self, X, y): n_samples, n_features = X.shape alpha = np.zeros(n_samples) b = 0 kernel = kernel_set[self.kernel_opt[0]] K = np.zeros((n_samples, n_samples)) for i in range(n_samples): K[:, i] = kernel(X, X[i], self.kernel_opt[1]) iter = 0 while iter < max_iter: num_changed_alphas = 0 for i in range(n_samples): Ei = np.dot(alpha * y, K[:, i]) + b - y[i] if (y[i] * Ei < -self.toler and alpha[i] < self.C) or \ (y[i] * Ei > self.toler and alpha[i] > 0): j = np.random.choice([x for x in range(n_samples) if x != i]) Ej = np.dot(alpha * y, K[:, j]) + b - y[j] alpha_i_old, alpha_j_old = alpha[i], alpha[j] if y[i] != y[j]: L = max(0, alpha[j] - alpha[i]) H = min(self.C, self.C + alpha[j] - alpha[i]) else: L = max(0, alpha[i] + alpha[j] - self.C) H = min(self.C, alpha[i] + alpha[j]) if L == H: continue eta = 2.0 * K[i, j] - K[i, i] - K[j, j] if eta >= 0: continue alpha[j] -= y[j] * (Ei - Ej) / eta alpha[j] = min(alpha[j], H) alpha[j] = max(alpha[j], L) if abs(alpha[j] - alpha_j_old) < 1e-5: continue alpha[i] += y[i] * y[j] * (alpha_j_old - alpha[j]) b1 = b - Ei - y[i] * (alpha[i] - alpha_i_old) * K[i, i] - \ y[j] * (alpha[j] - alpha_j_old) * K[i, j] b2 = b - Ej - y[i] * (alpha[i] - alpha_i_old) * K[i, j] - \ y[j] * (alpha[j] - alpha_j_old) * K[j, j] if 0 < alpha[i] < self.C: b = b1 elif 0 < alpha[j] < self.C: b = b2 else: b = (b1 + b2) / 2 num_changed_alphas += 1 if num_changed_alphas == 0: iter += 1 else: iter = 0 self.X = X self.y = y self.kernel = kernel self.alpha = alpha self.b = b def predict(self, X): n_samples, n_features = X.shape K = np.zeros((n_samples, len(self.X))) for i in range(n_samples): K[i, :] = self.kernel(self.X, X[i], self.kernel_opt[1]) y_pred = np.dot(self.alpha * self.y, K) + self.b return np.sign(y_pred) ``` 最后，我们使用以下代码来加载数据集并使用SMO算法训练SVM模型： ```python X, y = load_cifar10_data() y[y == 0] = -1 X_train, X_test = X[:50000], X[50000:] y_train, y_test = y[:50000], y[50000:] svm = SVM(C=1.0, toler=0.001, kernel_opt=('rbf', 1)) svm.fit(X_train, y_train) y_pred_train = svm.predict(X_train) y_pred_test = svm.predict(X_test) train_acc = np.mean(y_train == y_pred_train) test_acc = np.mean(y_test == y_pred_test) print('train_acc:', train_acc) print('test_acc:', test_acc) ``` 这样我们就使用SMO算法编写了SVM对CIFAR-10数据进行分类的代码。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值