【CV-Learning】线性分类器（SVM基础）

已于 2022-07-27 13:12:58 修改
阅读量2.8k 收藏 22
点赞数 4
分类专栏： 计算机视觉 文章标签： 支持向量机 机器学习 人工智能
于 2022-07-27 13:08:58 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Y0704__00/article/details/125826496
版权

数据集介绍（本文所用）

CIFAR10数据集

包含5w张训练样本、1w张测试样本，分为飞机、汽车、鸟、猫、鹿、狗、蛙、马、船、卡车十个类别，图像均为彩色图像，其大小为32*32。

图像类型（像素表示）

  1. 二进制（0/1）

  2. 灰度图像
    一个像素由一个比特（Byte）表示，取值为0-255。
    颜色程度：黑（0）---->----->---->白（255）

  3. 彩色图像
    一张图像有红、绿、蓝三个深度，即三个通道。每个通道的一个像素都是由一个比特（Byte）表示，取值为0-255。三个深度的图像结合起来才能表示一张彩色图像。比如：图像的像素为500500，则需要500500*3的矩阵才能表示。
    颜色程度：黑（0）---->----->---->红（255）

    Ps：大多数分类算法都要求输入向量，将图像矩阵转换成向量。
    在这里插入图片描述
    故本文所用数据集的每张图片转换为向量是3072（32323）维列向量。

线性分类器

定义：线性分类器是一种线性映射，将输入的图像特征映射为类别分数。
特点：形式简单，易于理解
拓展：通过层级结构（神经网络）或者高维映射（支撑向量机）可以形成功能强大的非线性模型。在小型样本情况下，常用支撑向量机；在大型样本情况下，常用神经网络。

线性分类器的决策

决策规则：
在这里插入图片描述
决策步骤：

  1. 图像表示成向量
  2. 计算当前图片每个类别的分数
  3. 按类别得分判定当前图像
    分类器的矩阵表示：
    在这里插入图片描述

线性分类器的权值向量

在这里插入图片描述

线性分类器的决策边界

在这里插入图片描述

损失函数

为了找到最优的分类模型，还需要损失函数与优化算法的帮忙。损失函数搭建了模型性能与模型参数（W,b）之间的桥梁，指导模型参数优化。

损失函数定义

损失函数是一个函数，用于度量给定分类器的预测值与真实值的不一致程度，其输出通常是一个非负实值。
其输出的非负实值可以作为反馈信号来对分类器参数进行调整，以降低当前示例对应的损失值，提升分类器的分类效果。
损失值就是模型性能的描述。
在这里插入图片描述

多类支撑向量机损失

在这里插入图片描述
在这里插入图片描述

Ps：限制条件中**+1**是为了减小边界附近噪声的影响
L函数举例说明
在这里插入图片描述
计算出多个L后要求取平均值！

问题解答

  1. 多类支撑向量机损失Li的最大/最小值会是多少?
    答：最大值为无穷，最小值为0
  2. 如果初始化时w和b很小，损失L是多少?
    答：此时，Sij和Syi都很小且Sij-Syi约为0。Li和L均等于样本数量减一。该情况可以用于检测算法的正确性。
  3. 考虑所有类别(包括j=yi), 损失L，对最优参数的选择是否有影响?
    答：无影响。
  4. 在总损失L计算时，如果用求和代替平均，对最优参数的选择是否有影响?
    答：无影响。
  5. 假设存在一个W使损失函数L=0，这个W是唯一的吗？
    答：不唯一。

正则项与超参数

什么是正则项损失

防止模型在训练集上学习得太好（过拟合），可以在L上加上一个正则损失，正则项让模型有了偏好，可以在多个损失函数为0的模型参数中选出最优的模型参数，所以损失函数L可以唯一。
在这里插入图片描述

L2正则项

在这里插入图片描述

什么是超参数

在开始学习过程之前设置值的参数，而不是学习得到。
超参数一般都会对模型性能有着重要的影响。
在这里插入图片描述

常用的正则项损失

在这里插入图片描述

优化算法

利用损失函数的输出值作为反馈信号来调整分类器参数，以提升分类器对训练样本的预测性能。优化目标是找到使损失函数L达到最优的那组参数W。

梯度下降算法

一种简单高效的迭代优化算法。
在这里插入图片描述

  1. 数值法
    计算量大，得到近似值，不准确。
    在这里插入图片描述
  2. 解析法
    精确值，速度快，但是导数推导容易出错。
    在这里插入图片描述
    问：数值梯度有什么作用？
    求梯度时一般使用解析梯度，而数值梯度主要用于解析梯度的正确性校验(梯度检查)。
计算效率
  1. 梯度下降
    在这里插入图片描述
    当N很大时，每次计算权值梯度的计算量很大，耗时长，效率低下。
  2. 随机梯度下降
    在这里插入图片描述
    单个样本的训练可能会带来很多噪声，虽然不是每次迭代都朝着整体最优方向，但是大量迭代体现规律会使整体向最优方向走。
  3. 小批量梯度下降
    在这里插入图片描述
    在论文中，一般用epoch描述迭代样本情况。
    1个epoch需要N/m次迭代，N是样本总数，m是批量大小。

训练过程

数据集划分

数据集=训练集+验证集+测试集
训练集：用于给定的超参数时分类器参数的学习。
验证集：用于选择超参数。
测试集：评估泛化能力。
问：当数据很少，那么可能的验证集包含的样本就很少，从而无法在统计意义上代表数据。此时我们可以提出使用交叉验证的方法。

K折交叉验证

在这里插入图片描述
为了使随机性更好，我们可以在每次分折的时候进行数据打乱，这样得到的最终平均分更好，这种方法叫做带有打乱数据的重复K折验证。

数据预处理

  1. 去均值
    x=x-均值；可以减小数据的浮动范围，突出相对差别。
  2. 归一化
    x=(x-均值)/方差；去除量纲的影响。
    在这里插入图片描述
  3. 去相关性
    有时候要只单独讨论x或只单独讨论y，就需要去掉x,y的相关性，x变化，y不会随着变化；让数据独立出来，达到降维的效果。
  4. 白化
    在去相关性的基础上进行归一化操作。
    在这里插入图片描述
    北京邮电大学–鲁鹏–计算机视觉与深度学习
小梁要努力哟
关注
  • 4
    点赞
  • 踩
  • 22
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
17. 线性分类器与非线性分类器的区别以及优劣1
08-03
线性和非线性是针对模型参数和输入特征来讲的：比如输入x,模型y=ax+ax^2那么就是非线性模型，如果输入是x和X^2则模型是线性的。常见的线性分类器：LR、贝
SVM-From-Scratch:SVM-使用线性核的支持向量机的实现。 这只是为了了解SVM及其算法
05-02
使用Python从零开始实现SVM 提神 关于SVM（算法需要常规） 对于培训数据中的所有xi： xi.w + b <= -1 if yi = -1 (belongs to -ve class) xi.w + b >= +1 if yi = +1 (belongs to +ve class) or __yi(xi.w+b) >= 1__ 对于所有支持向量（SV）（决定边距的数据点） xi.w+b = -1 here xi is -ve SV and yi is -1 xi.w+b = +1 here xi is +ve SV and yi is +1 对于决策边界yi(xi.w+b)=0这里xi属于决策边界中的点 我们的目标是使宽度W最大化 W = ((X+ - X-).w)/|w| 或者我们可以说| w |最小化 一旦找到使用算法优化的w和b
【深度解析】在训练机器学习模型时如何优雅地展示训练进度条
qq_42533357的博客
03-18 813
在机器学习实践中，特别是在训练大型数据集或者复杂的深度学习模型时，一个直观且实时更新的训练进度条对于跟踪模型训练进程至关重要。它不仅可以帮助我们估算训练完成所需的时间，还可以实时反馈每个训练批次或周期的损失变化，从而更好地监控模型训练状态和性能。本文将深入探讨如何在训练机器学习模型时实现这样一个进度条功能，并附上Python编程语言下的代码示例。总之，在机器学习模型训练过程中，巧妙运用进度条工具不仅能增强用户体验，提高训练过程的透明度，还能辅助调试和优化模型训练流程。
深度学习修炼（一）线性分类器 | 权值理解、支撑向量机损失、梯度下降算法通俗理解
专注于人工智能的算法与应用
02-20 1384
神经网络基础笔记，线性分类器以及最初的一些损失函数，优化算法等
SVM分类器原理
weixin_41984456的博客
10-25 1861
在机器学习以及模式识别中往往会发挥不错的性能，自开始出现至今一直不断发展，SVM得益于监督学习的特性，可以应用到很多统计范畴的问题中，包括分类、模型识别等。通过找到一个最优分类超平面g(x)=，其基本原理为通过归一化判别函数，使得正负样本满足，于是分类间隔为即最小可以使分类间隔最大，最后通过求解二次规划问题使得线性可分问题得到求解。根据仿真结果可以看出我们构建的SVM模型将乳腺癌细胞分成了0良性和1恶性，精确度为97.4874%，较好的完成了目标的分类要求。作为训练集，其余细胞作为测试集。
线性分类器
机器笨猫
07-01 2164
线性分类器 主要内容： 线性分类器简介 线性得分函数（Linear score function） 解释线性分类器 损失函数 多分类支持向量机 Softmax分类器 SVM vs Softmax 总结 线性分类器（Linear Classification） 在上一节中，我们介绍了图像分类问
svm分类器（线性）
01-30
使用SVM对数据进行分类，且进行结果显示，可查阅SVM相关资料，对该代码及其算法进行进一步了解。
SVM中的线性分类器
djph26741的博客
06-20 148
线性分类器： 首先给出一个非常非常简单的分类问题（线性可分），我们要用一条直线，将下图中黑色的点和白色的点分开，很显然，图上的这条直线就是我们要求的直线之一（可以有无数条这样的直线） 假如说，我们令黑色的点 = -1， 白色的点 = +1，直线f(x) = w.x + b，这儿的x、w是向量，其实写成这种形式也是等价的f(x) = w1x1 + w2x2 … + w...
SVM学习（二）：线性分类器
Liam Q的专栏
10-25 1万+
1.线性分类器概念           线性分类器(一定意义上,也可以叫做感知机) 是最简单也很有效的分类器形式.在一个线性分类器中,可以看到SVM形成的思路,并接触很多SVM的核心概念。用一个二维空间里仅有两类样本的分类问题来举个小例子。如图所示：           C1和C2是要区分的两个类别，在二维平面中它们的样本如上图所示。中间的直线就是一个分类函数，它可以将两类样本完全分开
2.1.SVM线性分类器
qq_42731705的博客
08-30 1738
文章目录1.笔记总结1.1.Small Questions1.1.1.图像xi的定义，行列的问题1.1.2.np.hstack函数1.1.3.np.random.randn(）正态分布随机数函数1.2.最优化损失函数1.2.1.寻找更好的W的方法1.2.2梯度下降1.2.2.1.数值梯度1.2.2.2.实际应用中的梯度下降2.SVM的损失函数和解析梯度的计算2.1.SVM损失函数定义2.2.SVM损失函数的梯度推导（重点）2.2.1.在某个数据点上的梯度推导（编程循环实现）2.2.2.在所有数据点上的梯度推
Matlab-SVM分类器
热门推荐
lwwangfang的博客
08-29 9万+
支持向量机（Support Vector Machine，SVM)，可以完成对数据的分类，包括线性可分情况和线性不可分情况。 1、线性可分 首先，对于SVM来说，它用于二分类问题，也就是通过寻找一个分类线(二维是直线，三维是平面，多维是超平面）可以将数据分为两类。 并用线性函数f(x)=w·x +b来构造这个分类器(如下图是一个二维分界线） 其中，w是权重向量，x为训练元
incremental-learning-for-SVM.rar_Svm 增量学习_online svm_svm代码matlab
07-14
一种基于matlab自带SVMtrain模型训练函数的在线SVM增量学习方法代码。
基于Python实现线性分类器SVM小作业【100011724】
04-07
SVM是一个线性分类器，但是比起一般的线性分类器，SVM选择的是鲁棒性最好、泛化能力最强的分界超平面，将数据分为两个部分。而选择最好的决策边界是根据支持向量所决定的，也就是说对于整个数据集，我只需要支持向量...
5-SVM-分类_SVM-分类_
09-29
基于SVM的数据分类小程序，相对于其他分类程序，有较高的效率，可参考学习。
four-Toolbox-for-SVM.rar_SVM分类器 matlab_matlab svm分类_svm 分类识别_svm
07-14
SVM分类器,关键是对信号进行分类，是模式识别的必备宝典
matlab_GA-SVM预测_GA_SVM_GA-SVM_matlab_SVM_
09-28
GA-SVM预测数据，输入训练样本，运用测试样本测试
表情识别 | LBP+SVM实现脸部动态特征的人脸表情识别程序（Matlab）
关注并私信文章链接，获取对应文章源码和数据，机器学习之心的博客。
04-26 550
表情识别 | LBP+SVM实现脸部动态特征的人脸表情识别程序（Matlab）
机器学习：深入解析SVM的核心概念【四、软间隔与正则化】
最新发布
qq_22841387的博客
04-29 904
软间隔SVM是对传统的硬间隔SVM的扩展，它允许某些数据点违反最初的分类边界。这样做的目的是提高模型对噪声和异常值的，从而获得更好的泛化能力。在这个设置中，优化目标函数的推导过程是这样的：软间隔引入：为了应对现实世界数据中的噪声和不完全线性可分的情况，引入软间隔的概念。在硬间隔SVM中，所有数据点都严格满足 yi(wTxi+b)≥1y_i (w^T x_i + b) \geq 1yi​(wTxi​+b)≥1 的约束。在软间隔SVM中，我们允许某些点不满足这个条件，引入松弛变量 ξi\xi_iξi​ 来衡量每
SVM原理：怎么实现维度映射的；核矩阵（Kernel Matrix）；多项式核：高斯核（径向基函数RBF）：线性核：
ZJQ的博客
04-26 392
它将输入空间I映射到特征空间F。核矩阵的构建基于这样一个性质：如果数据集合D中任意两点间的点乘和范数的核函数K(xi, xj)的值与特征空间的任意两点间的点乘函数ϕ(xi)Tϕ(xj)的值相等，那么由这些核函数值所构成的n×n的矩阵就是核矩阵。核矩阵具有一些重要的性质，如正定性、信息完全性、增量性等。它在线性代数、数学分析、计算机科学等多个领域都有广泛的应用。例如，在聚类算法中，核矩阵可以用于样本相似性度量，如谱聚类，将样本划分到合适的群簇中；
采用 scikit-learn 中的线性 SVM 对 iris 数据集进行二分类
05-27
好的，我会为您提供一个 Python 代码示例，使用 scikit-learn 中的线性 SVM 对 iris 数据集进行二分类。首先，我们需要导入所需的库和数据集： ```python from sklearn.datasets import load_iris from sklearn.model_selection import train_test_split from sklearn.svm import LinearSVC from sklearn.metrics import accuracy_score iris = load_iris() X = iris.data[:, :2] y = iris.target ``` 在这里，我们只选择了 iris 数据集的前两个特征，因为我们希望将其可视化。接下来，我们将数据分为训练集和测试集： ```python X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42) ``` 然后，我们可以使用 LinearSVC 模型拟合数据： ```python clf = LinearSVC(random_state=42) clf.fit(X_train, y_train) ``` 最后，我们可以使用测试集评估模型的表现： ```python y_pred = clf.predict(X_test) accuracy = accuracy_score(y_test, y_pred) print('Accuracy:', accuracy) ``` 完整代码如下： ```python from sklearn.datasets import load_iris from sklearn.model_selection import train_test_split from sklearn.svm import LinearSVC from sklearn.metrics import accuracy_score iris = load_iris() X = iris.data[:, :2] y = iris.target X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42) clf = LinearSVC(random_state=42) clf.fit(X_train, y_train) y_pred = clf.predict(X_test) accuracy = accuracy_score(y_test, y_pred) print('Accuracy:', accuracy) ``` 运行代码后，您将得到一个准确率。希望这个示例能够帮助您理解如何使用线性 SVM 对 iris 数据集进行二分类。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值