SVM系列

最新推荐文章于 2024-11-02 13:03:38 发布
最新推荐文章于 2024-11-02 13:03:38 发布
阅读量207 收藏
点赞数
分类专栏： 机器学习 文章标签： 支持向量机 机器学习 算法
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45683677/article/details/122538616
版权

文章目录

1. SVM 思想转化为数学表达

  1. 首先这是一个凸优化问题，因为 W T W W^{T} W WTW 是二次的，正定，约束条件是一个线性变化。
  2. 为了方便求解，我们使用拉格朗日乘子法将式化为无约束情况
  3. 使用强对偶关系就行一波转化，方便先求W b
  4. 无约束求最小值，直接求导，先求b偏导，代入，再求W偏导，带入
    求解min时得出一个约束，加入其中
  5. 最终可以得到一个与W b无关的 λ \lambda λ 优化问题，从而求解出 λ \lambda λ
    在这里插入图片描述

满足强对偶并且原问题是凸函数的话，那么（x， λ \lambda λ）满足KKT条件

在这里插入图片描述
由KKT条件的式2，得如果不在直线上得点，对应的 λ \lambda λ =0 ,所以 b ∗ b^{*} b∗可以求出来在直线上的点构成的最优解，从而得到了hard-margin的的分割平面。

soft margin svm

如果数据本身不可分，那么我们需要允许SVM的超平面有一些错误，可以用下式表达，这个距离的loss也叫hinge loss
在这里插入图片描述
最终soft形式如下，添加了 ψ \psi ψ保证了错误点可以存在的性质
在这里插入图片描述

拉格朗日函数与对偶性

在这里插入图片描述

核函数 -> SVM的高维分类

在这里插入图片描述

对于感知机算法来说，线性不可分的数据可以使用神经网络来解决；
对于SVM来说，线性不可分的数据需要通过映射到高维来解决，这是基于Cover Theory高维比低维更易于分割。
之前一直不知道映射为高维是啥意思，up这里举了个例子（x1， x2）映射为高维（三维）就是（x1， x2，（x1-x2））这种。
但是呢，我们可能需要映射为无穷维，SVM的对偶形式中有求内积，这样即不好表示也不好求内积，巧了，正定核函数可以跳过求无穷维映射这一步并且可以不用求映射完成的内积。

正定核函数
具体形式化定义如下：
在这里插入图片描述
通过定义二，我们去判定Gram矩阵是否是正定的即可判定这个核函数是否是正定核函数

必要性证明:
在这里插入图片描述

eryihahaha
关注
专栏目录
解密SVM系列（四）：SVM非线性分类原理实验
我爱智能
08-17 1万+
前面几节我们讨论了SVM原理、求解线性分类下SVM的SMO方法。本节将分析SVM处理非线性分类的相关问题。一般的非线性分类如下左所示（后面我们将实战下面这种情况）： 可以看到在原始空间中你想用一个直线分类面划分开来是不可能了，除非圆。而当你把数据点映射一下成右图所示的情况后，现在数据点明显看上去是线性可分的，那么在这个空间上的数据点我们再用前面的SVM算法去处理，就可以得到每个数据点的分类情况
解密SVM系列（三）：SMO算法原理与实战求解
我爱智能
08-17 3万+
上节我们讨论到解SVM问题最终演化为求下列带约束条件的问题： minW(α)=12(∑i,j=1Nαiyiαjyjxi∗xj)−∑i=1Nαis.t.0≤αi≤C∑i=1Nαiyi=0min\quad W(\alpha)=\dfrac{1}{2}(\sum_{i,j=1}^{N}\alpha_iy_i\alpha_jy_jx_i*x_j)-\sum_{i=1}^{N}\alpha_i\\s.t.
SVM系列-小白都看得懂的SVM学习笔记
schenshantou的博客
03-01 4247
小白学机器学习
[SVM系列之一]白话支持向量机（SVM）
Can的博客
03-01 2322
初识支持向量机（SVM） 我们来玩一个游戏： 首先在桌子上放两种颜色的球，它们似乎存在某种关系，那你能不能用一根木棒将两种颜色分开呢？要求：尽可能在桌面上放置更多的小球后仍然适用。 你大概会这么放吧： 为了测试你的答案是不是符合要求，我在桌上又放了更加多的蓝红小球，可以发现，一个红球被分错了位置： 支持向量机（SVM）可以白话为：试图找到一个木棍放置的...
与SVM的初识(2)：pluskid大神的SVM系列博客内容简介
u014088761的博客
05-04 1388
本文主要是对自己理解的pluskid大神的SVM系列内容做一个简单的介绍。注意：以下的内容在讲解核函数之前均是对做数据进行线性分类。 一、什么是最优的线性分类器 首先，对于什么是最优的分类器，我们是如何度量的呢？这些单是凭人类的感觉来度量肯定是不准确的，而SVM是基于严格的统计学习理论的，所以对于最优的分类器也是有严格的度量标准的。而这里的度量标准主要分为两个，函数距离和几何距离。 假设...
（ 保证能看懂系列）SVM系列（二）soft-margin SVM 详细原理以及一点点的kernel SVM
Lee_Yu_Rui的博客
07-19 1575
本篇继续针soft-margin 软间隔SVM原理进行梳理，需要先对hard-margin SVM 有所掌握，具体见SVM系列（一）hard-margin SVM 详细原理 https://blog.csdn.net/Lee_Yu_Rui/article/details/107420870 soft-margin SVM 思想 感谢https://www.youtube.com/watch?v=ZF2QR7nSUhg&list=PLOxMGJ_8X74Z1N3OcacUaCxiXaGNHtFw.
SVM系列（五）SVM python 应用实例（二） iris+ 西瓜数据
Lee_Yu_Rui的博客
07-20 1568
iris数据分类以及可视化 1.多种核函数分类 from sklearn.svm import SVC import matplotlib.pyplot as plt %matplotlib inline from sklearn import datasets import numpy as np from sklearn.model_selection import train_test_split iris = datasets.load_iris() X = iris.data[:,:2] y
（系列笔记）8.SVM系列（1）
还没学明白
03-11 616
SVM——线性可分 SVM 原理 线性可分和超平面 二分类问题 二分类问题就是：给定的各个样本数据分别属于两个类质疑，而目标是确定新数据点将归属到哪个类中。 在机器学习的应用中，至少现阶段，分类是一个非常常见的需求，特别是二分类，它是一切分类的基础，而且很多情况下，多分类问题都可以转化为二分类问题来解决。 特征的向量空间模型 具体的样本在被机器学习算法处理时，由其特征来表示，换言之每个现实世界的事...
（ 保证能看懂系列）SVM系列（一）hard-margin SVM 详细原理
Lee_Yu_Rui的博客
07-18 4357
感谢youtube上的视频对SVM的详细推导 https://www.youtube.com/watch?v=ZF2QR7nSUhg&list=PLOxMGJ_8X74Z1N3OcacUaCxiXaGNHtFw2 本文先对硬间隔的SVM进行详细的理论推导，支持向量机的基本思想其实是很简单的，但这个数学过程是真的有点复杂，尤其后面的SMO，别担心，本文没有，因为我也不知道到底咋写...对这个算法还不是特别熟悉，有问题请帮忙指出。 三种形式SVM 针对不同的分类问题，有以下三种形式的SVM （
（ 保证能看晕系列）SVM系列（三）hard-margin 求解实例 + SMO算法 详细原理
Lee_Yu_Rui的博客
07-19 1286
SVM系列（一）hard-margin SVM 详细原理 https://blog.csdn.net/Lee_Yu_Rui/article/details/107420870 SVM系列（二）soft-margin SVM 详细原理以及一点点的kernel SVM https://blog.csdn.net/Lee_Yu_Rui/article/details/107436175 hard-margin 求解实例 到目前为止，三种SVM的原理都已经阐述明白。可能你发现，好像还没有算出来呢？先以一个简.
解密SVM系列（一）：关于拉格朗日乘子法和KKT条件
热门推荐
我爱智能
08-17 7万+
写在之前 支持向量机（SVM），一个神秘而众知的名字，在其出来就受到了莫大的追捧，号称最优秀的分类算法之一，以其简单的理论构造了复杂的算法，又以其简单的用法实现了复杂的问题，不得不说确实完美。 本系列旨在以基础化的过程，实例化的形式一探SVM的究竟。曾经也只用过集成化的SVM软件包，效果确实好。因为众人皆说原理复杂就对其原理却没怎么研究，最近经过一段时间的研究感觉其原理还是可以理解，这
解密SVM系列（二）：SVM的理论基础
我爱智能
08-17 2万+
上节我们探讨了关于拉格朗日乘子和KKT条件，这为后面SVM求解奠定基础，本节希望通俗的细说一下原理部分。一个简单的二分类问题如下图： 我们希望找到一个决策面使得两类分开，这个决策面一般表示就是WTX+b=0W^TX+b=0,现在的问题是找到对应的W和b使得分割最好，知道logistic分类 机器学习之logistic回归与分类的可能知道，这里的问题和那里的一样，也是找权值。在那里，我们是根据每
深入解密 K 均值聚类：从理论基础到 Python 实践
平凡程序猿~的博客
11-01 1646
K 均值聚类是一种基于质心的聚类算法，它通过反复迭代的方式将数据点分配到 K 个聚类中。每个质心代表一个聚类的中心位置，算法会不断调整质心的位置，直到满足一定的收敛条件。K 均值聚类的目标是最小化每个聚类内部所有点到其质心的距离之和。具体来说，K 均值聚类的步骤可以概括如下：随机选择 K 个初始质心。将每个数据点分配到离它最近的质心所在的聚类。重新计算每个聚类的质心，即对聚类中的所有数据点取平均值。重复步骤 2 和 3，直到质心的位置不再发生变化，或者达到预设的迭代次数。
支持向量机背后的数学奥秘
huanfeng_AI的博客
10-31 889
支持向量机作为一种重要的机器学习算法，在分类问题中展现出了强大的性能和广泛的应用前景。通过深入理解其背后的数学原理和优化方法，我们可以更好地应用这一算法来解决实际问题。未来，随着数据科学和机器学习技术的不断发展，支持向量机有望在更多领域发挥更大的作用。同时，我们也期待研究者们能够提出更多创新性的改进方法，以进一步提高支持向量机的性能和效率。
【机器学习】24. 聚类-层次式 Hierarchical Clustering
weixin_48846514的博客
11-01 392
【机器学习】24. 聚类
【机器学习】27. 马尔科夫链和隐马模型HMM
最新发布
weixin_48846514的博客
11-02 685
马尔科夫链和隐马模型HMM
【小白学机器学习31】 大数定律，中心极限定理，标准正态分布与概率的使用
奔跑的犀牛先生
11-01 700
关于正态分布，具体应用。
【机器学习导引】ch5-神经网络
11-02 776
这部分课件展示了如何通过梯度更新权重来纠正分类错误。其核心思想是：当模型错误地预测时，利用标签信息。
机器学习算法系列：支持向量机SVM基础
支持向量机（SVM）是一种经典的机器学习算法，在数据挖掘和机器学习领域中扮演着非常重要的角色。SVM的主要思想是寻找一个超平面，将数据分隔开来，从而实现分类或回归任务。 **支持向量机的基本概念** 在SVM中，...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值