【机器学习期末总结】8-支持向量机

最新推荐文章于 2024-08-08 14:28:23 发布
最新推荐文章于 2024-08-08 14:28:23 发布
阅读量318 收藏 1
点赞数 1
分类专栏： 机器学习 文章标签： 人工智能
原文链接：https://mooc2-ans.chaoxing.com/mycourse/stu?courseid=215257697&clazzid=65333660&cpi=260393217&enc=e21c700f8c3be42a0eba8f92acbf83f9&t=1670245169480&pageHeader=3&v=0
版权

间隔
对偶
核技巧

从感知机到支持向量机

在这里插入图片描述

支持向量和间隔最大化

在这里插入图片描述

支持向量机的三种情况

在这里插入图片描述

线性可分支持向量机与硬间隔最大化

在这里插入图片描述
回顾：感知机中的距离：
几何距离 函数距离

间隔最大化

在这里插入图片描述

问题转化

在这里插入图片描述

凸优化问题

在这里插入图片描述

*常用的二次规划问题求解方法

椭球法
内点法
拉格朗日法
梯度投影法

最大间隔分离超平面的存在唯一性

线性可分训练数据集的最大间隔分离超平面是存在且唯一的
证明
1、存在性
2、唯一性
反证法。先证w∗=w_1∗=w_2∗，再证b∗=b_1∗=b_2∗
3、两类数据正确分开

支持向量和间隔边界

在这里插入图片描述

约束优化方法之拉格朗日乘子法与KKT条件

无约束优化
等式约束优化
多个等式约束优化
不等式约束优化
KKT条件
详见ppt

线性可分支持向量机的对偶问题

学习的对偶算法

在这里插入图片描述
步骤一：带约束问题转化为无约束问题
步骤二：转换为强对偶问题
步骤三：求解w,b的极小值
步骤四：求解α的极大值
在这里插入图片描述
权值计算

分离超平面和分类决策函数

在这里插入图片描述

支持向量

在这里插入图片描述

线性支持向量机与软间隔最大化

软间隔

在这里插入图片描述

线性不可分的线性支持向量机

在这里插入图片描述

学习的对偶算法

线性不可分情况下的支持向量

在这里插入图片描述

线性支持向量机

在这里插入图片描述

损失函数角度看待软间隔:合页损失函数

在这里插入图片描述
在这里插入图片描述

线性支持向量机（另一角度）

在这里插入图片描述

非线性支持向量机与核函数

非线性分类问题

指通过利用非线性模型才能很好地进行分类的问题

线性分类方法求解非线性分类问题

在这里插入图片描述

核技巧（Kernel Trick）

在这里插入图片描述

核函数

在这里插入图片描述

非线性支持向量机学习算法

在这里插入图片描述

*序列最小最优化问题

支持向量机计算复杂

在这里插入图片描述

SMO算法

  • 基本思想
    所有变量同时求解代价大，每次选择两个变量进行更新
    如果所有变量的解都满足此最优化问题的KKT条件，那么最优化问题的解就得到了

  • 算法步骤
    1、选择两个变量的启发式方法
    2、求解两个变量二次规划的解析方法
    3、更新参数
    详见ppt

1、变量的选择方法

步骤1：第1个变量的选择
步骤2：第2个变量的选择

2、两个变量二次规划的求解方法

步骤一：子问题定义
步骤二：先不考虑不等式约束(7.103)，求解α2的未经剪辑时的解
步骤三：考虑不等式约束(7.103)，求解α2的最优解
确定边界L和H
步骤四：计算α_1的最优解

3、更新参数b和差值E_i

步骤1：重新计算b1，b2
步骤2：更新参数b
步骤3：更新差值Ei

*支持向量回归

支持向量回归

特点: 允许模型输出和实际输出间存在2e的偏差
在这里插入图片描述

损失函数

落入中间2e间隔带的样本不计算损失, 从而使得模型获得稀疏性
在这里插入图片描述

形式化

在这里插入图片描述

Scikit-learn中的SVM

详见ppt

malo12
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
【机器学习-西瓜书】第6章 支持向量机
wayaya112的博客
03-31 3830
一种二分类模型，是定义在特征空间上的 间隔最大的线性分类器； SVM 的学习策略是 间隔最大化，学习算法是求解凸二次规划的最优化算法，可等价于 正则化的 合页损失函数最小化问题。 由简至繁的模型有： 线性可分支持向量机( (数据线性可分，硬间隔最大化)、线性支持向量机 (数据近似线性可分，软间隔最大化)、非线性支持向量机 (数据线性不可分，核技巧)。 当输入空间为 欧氏空间或离散集合、特征空间为希尔伯特空间时，通过核函数将 输入从输入空间映射到特征空间得到 特征向量之间的内积。该方法称为核技巧，是一.
SVM算法笔记（2）
wenting521的博客
03-23 1105
线性可分支持向量机与硬间隔最大化1.线性可分支持向量机一般地，训练数据线性可分，存在无穷个分离超平面可将两类数据正确分开。感知机利用误分类最小的策略，求得分离超平面，解有无穷多个。线性可分支持向量机利用间隔最大化求最优分离超平面，解唯一。定义1（线性可分支持向量机）：给定线性可分训练数据集，通过间隔最大化或等价地求解相应的凸二次规划问题学习得到的分离超平面为以及相应的分类决策函数，称为线性可分支持...
[ML] 支持向量机
YasinQiu的博客
03-15 2387
SVM是一种二类分类模型. 1. 线性可分支持向量机与硬间隔最大化 求解对象: 线性可分问题. 1.1 线性可分支持向量机 给定一个训练数据集: T={(x1,y1),...,(xN,yN)},xi∈X=Rn,y∈Y={+1,−1},i=1,2,...,NT={(x1,y1),...,(xN,yN)},xi∈X=Rn,y∈Y={+1,−1},i=1,2,...,NT = \lb...
邱锡鹏《神经网络与深度学习》—— 部分习题答案整理
热门推荐
zzbro
10-28 3万+
nndl
支持向量机 SVM （一）
Shannon
10-15 405
支持向量机SVM 这一知识点在机器学习中是非常重要的一个知识点，笔者想要通过自己的学习记录总结下来方便日后复习。 学习资料参考：周志华老师的《机器学习》第六章、李航老师的《统计学习方法》的第七章。 文章中许多公式及图片来自于书中，这篇总结是根据笔者的基础会补充一些笔者不懂的知识点。 支持向量机(support vector machines，SVM)是一种二类分类模型。它的基本模型是 定义在...
机器学习学习笔记（六）--支持向量机
weixin_44546905的博客
03-10 388
专业词汇 鲁棒性（Robustness） 支持向量机（Support Vector Machine） "间隔" (margin) 最大|间隔 (maximum margin) 个凸二次规划(convex quadratic programming) 问题 "对偶问题" (dual problem) KKT (Karush-Kuhn-Tucker) SMO (Sequential Minimal O...
机器学习5---支持向量机
aBIT_Tu的博客
09-10 437
1. 线性可分的支持向量机 1.1 支持向量机（SVM）基本型 对于给定的在样本空间中线性可分的训练集，我们有多重办法对其进行划分，以二分类问题为例，如图： 红线和黑线（超平面）都能将两类样本很好的划分开，但是当新样本进入时，黑线比红线更加有可能正确划分新的样本，换句话说：越位于两类样本“中心”的划分超平面越能够容忍样本的局部扰动，其的泛化能力越好。 基于以上思想，我们准备求解最优超平...
Matlab实现POA-CNN-SVM鹈鹕算法优化卷积神经网络-支持向量机多变量回归预测
11-02
1.POA-CNN-SVM鹈鹕算法优化卷积神经网络-支持向量机的多变量回归预测 可直接运行Matlab; 2.评价指标包括: R2、MAE、RMSE和MAPE等，代码质量极高，方便学习和替换数据。要求2021版本及以上。 3.鹈鹕算法POA优化的参数...
SVM-Adaboost支持向量机集成学习Adaboost故障诊断/分类预测（Matlab完整源码）
07-28
1.Matlab实现SVM-Adaboost支持向量机集成学习Adaboost故障诊断/分类预测（Matlab完整源码和数据）。数据为西储大学轴承诊断数据经过特征提取后的数据。运行环境Matlab2023及以上。 2.输出对比图、混淆矩阵图、预测...
国科大 电子学院 叶齐祥老师 机器学习 课程作业，手写高斯混合模型算法，手写支持向量机算法，手写卷积神经网络算法+源代码+文档说
12-23
1、资源内容：国科大 电子学院 叶齐祥老师 机器学习 课程作业，手写高斯混合模型算法，手写支持向 2、代码特点：内含运行结果，不会运行可私信，参数化编程、参数可方便更改、代码编程思路清晰、注释明细，都经过...
Matlab实现基于SVM-Adaboost支持向量机结合Adaboost集成学习时间序列预测（股票价格预测）（完整源码和数据）
06-11
基于SVM-Adaboost支持向量机结合Adaboost集成学习时间序列预测（股票价格预测）基于SVM（支持向量机）和AdaBoost集成学习的时间序列预测（如股票价格预测）是一种结合了两种强大机器学习算法的方法，旨在通过利用...
机器学习作业-svm可视化
12-23
3、适用对象：计算机，电子信息工程、数学等专业的大学生课程设计、期末大作业和毕业设计。 4、作者介绍：某大厂资深算法工程师，从事Matlab、Python、C/C++、Java、YOLO算法仿真工作10年；擅长计算机视觉、 目标...
支持向量机
糖葫芦君的博客
07-27 1万+
支持向量机是一种二类分类模型，它的基本模型是定义在特征空间上的间隔最大的线性分类器。支持向量机可以形式化为一个求解凸二次规划的问题，也等价于正则化的合页损失函数的最小化问题，支持向量机的学习算法是求解凸二次规划的最优化算法。 支持向量机包括构建由简至繁的模型： 1.线性可分支持向量机：当训练数据是线性可分时，通过硬间隔最大化学习一个线性分类器； 2.线性支持向量机：当训练数据近似线性可分时，...
【支持向量机】最大间隔超平面及Matlab代码
LilYau的博客
10-28 2040
SVM的的学习策略就是间隔最大化，可形式化为一个求解凸二次规划的问题，也等价于正则化的合页损失函数的最小化问题。SVM的的学习算法就是求解凸二次规划的最优化算法。
机器学习笔记——支持向量机
章小幽的博客
09-19 755
一，线性可分支持向量机与硬间隔最大化 1.1 间隔与支持向量 在样本空间中，划分超平面可通过如下线性方程来描述： 其中，w = (w1;w2;...;wd)为法向量，决定了超平面的方向；b为位移项，决定了超平面与原点之间的距离。 我们将超平面记为(w,b).样本空间中任意点x到平面(w,b)的距离可写为： 假设超平面(w,b)能将训练样本正确分类，则有： 如下图所示，距离超...
统计学习方法笔记：支持向量机之线性可分支持向量机与硬间间隔最大化
Learning from the mistakes
09-11 4377
感想 支持向量机的内容有点多，我这里分开进行讲解，所谓的线性可分是对训练样例进行了假设，即假设训练样例是线性可分的，就不需要加核函数等步骤处理；所谓的硬间间隔最大化就是假设训练数据中没有噪声数据，这样就是硬间隔，不需要加松弛变量进行处理。因此这个算法不具有通用性，但是理解该过程能帮助我们理解后面的核函数和松弛变量，因此一定要弄懂这里面的拉格朗日求解和kkt条件 介绍 支持向量机（SVM）
统计学习方法——第7章 支持向量机（个人笔记）
pk296256948的博客
04-30 770
统计学习方法——第7章 支持向量机（个人笔记） 参考《统计学习方法》（第二版）李航 支持向量机（support vector machines，SVM）是一种二分类模型，是定义在特征空间上的间隔最大的线性分类器。间隔最大使他有别于感知机。 7.1 线性可分支持向量机与硬间隔最大化 7.1.1 线性可分支持向量机 一般来说，当训练数据集线性可分时，存在无穷个分离超平面可将两类数据正确分开。 感知机利用误分类最小的策略，求得分离超平面，不过解有无穷多个。 线性可分支持向量机利用间隔最大化求最优分离
第七章支持向量机.7.2间隔分离最大化的存在唯一性
老毛的博客
03-29 613
文章目录存在性唯一性 本课程来自深度之眼，部分截图来自课程视频以及李航老师的《统计学习方法》第二版。 公式输入请参考：在线Latex公式 定理7.1（最大间隔分离超平面的存在唯一性）若训练数据集T线性可分，则可将训练数据集中的样本点完全正确分开的最大间隔分离超平面存在且唯一。 存在性 min⁡w,b12∣∣w∣∣2s.t.yi(w⋅xi+b)−1≥0i=1,2,⋯ ,N\underset{w,b}{\min}\cfrac{1}{2}||w||^2 \\ \text{s.t.}\quad y_i\left(w
大模型微调工具-torchtune
最新发布
weixin_40777649的博客
08-08 1068
1.定义2.安装3. 案例。
南邮机器学习导论：期末人脸检测实践与支持向量机应用
人脸检测的挑战在于人脸图像中的模式往往隐性且变化多样，这就需要机器学习方法，尤其是能够自我适应和优化的算法，如支持向量机（SVM），来提高检测的准确性和鲁棒性。 该作业中，学生可能会通过MATLAB这样的工具...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值