机器学习——支持向量机SVM之基本型

最新推荐文章于 2024-01-23 11:56:48 发布
最新推荐文章于 2024-01-23 11:56:48 发布
阅读量2.3k 收藏 7
点赞数
分类专栏： 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/codman/article/details/78275671
版权

闲谈分类超平面

1、分类超平面（齐次）方程： w^T x=0

    a) x为n+1维的向量， w为 (n+1)×1 的矩阵（分类平面的法向量）

    b) w的作用是通过与样本向量x点乘，将向量映射到1维空间中（即原空间与分类超平面垂直的数轴）

    c) 公式 f(x)=w^T x 在几何上表示样本映射到数轴上的值（分类超平面对应数轴原点）

    d) 几何上的真实距离为 r=(w^T x)/|w|  ，可看作样本向量与单位法向量的点乘，即无放缩的映射

2、分类学习最基本的想法就是基于训练集在样本空间中找到一个划分超平面，将不同类型的样本分开。然而能将训练样本分开的划分超平面可能有很多，理论上我们应该找出鲁棒性最好的分类超平面，以获得最好的泛化能力。


间隔与支持向量

1、支持向量：距离超平面最近的、使以下不等式等号成立的几个样本点


2、间隔：两个异类支持向量到超平面的距离之和 γ=2/|w|


3、优化目标：最大化分类间隔 γ

    a)

    b) 可重写为：

    c) 这就是支持向量机（Support Vector Machine, SVM）的基本型

对偶问题

1、优化目标的拉格朗日函数可写为 L(w,b,α)=1/2 ‖w‖^2+∑_{i=1}^mα_i (1-y_i (w^T x_i+b))  ，其中 α_i≥0

2、故而规划问题就转变为，其对偶问题为

    a) 原问题是凸规划问题，直接求解是有难度的，因为通过消去拉格朗日系数来化简方程并无太大用处

    b) 通过拉格朗日对偶变换得到的对偶问题，求解其难度明显比原问题简单

    c) 原优化目标转化为规划问题有一个隐含的约束： α_i (y_i (w^T x_i+b)-1)=0

        i. 结合原目标函数和规划问题函数得，由后面结果可得

        ii. 化简得 ∑_{i=1}^m α_i (1-y_i (w^T x_i+b)) =0

        iii. 由 α_i≥0 和 y_i (w^T x_i+b)≥1 得 α_i (y_i (w^T x_i+b)-1)=0

3、拉格朗日函数分别对w和b求偏导，并令其为零，得

4、故而原优化目标的对偶问题为

    a) 推导过程


    b) 故而对偶问题为

5、解出 α 后，求出w和b即可得到模型 f(x)=w^T x+b=∑_{i=1}^m α_i y_i x_i^T x+b

6、总结上述过程，需要满足KKT（Karush-Kuhn-Tucker）条件


序贯最小优化（Sequential Minimal Optimization）

1、背景

    a) 求解拉格朗日系数是一个二次规划问题，可使用通用的二次规划算法求解

    b) 然而当问题规模正比于训练样本数时，通用的二次规划算法计算开销非常大

2、SMO是人们开发的高效算法中的一个著名代表，其不断执行以下两步骤直到收敛

    a) 选取一对需要更新的变量 α_i 和 α_j

    b) 固定 和 以外的参数，只对 α_i 和 α_j 优化 w(α)

    c) 根据优化后的 α_i 和 α_j 更新截距b

3、SMO是一种启发式搜索算法：使选取的两变量对应样本之间的间隔最大

    a) 选取的参数中，KKT条件的违背程度越大，变量更新后可能导致的目标函数值增幅越大

    b) 由于比较各变量对应的目标函数值增幅的复杂度过高，SMO采用一种启发式，即差异大的两参数相对于差异小的两参数，前者的更新会带给目标函数值更大的变化

4、SMO之所以高效，恰由于在固定其他参数后，仅优化两个参数的过程能做到非常高效

    a) 约束 ∑_{i=1}^m α_i y_i =0 可重写为 α_i y_i+α_j y_j=c,α_i≥0,α_j≥0 ，其中 c=-∑_{k≠i,j} α_k y_k

    b) 该约束代入对偶公式可得到一个关于 α_i 的单变量二次规划问题，仅有约束 α_i≥0 ，具有闭式解

    c) 对任意支持向量都有 y_s (w^T x_s+b)=1 ，则利用所有支持向量求解b的平均值更具鲁棒性 b=1/|S| ∑_{s∈S} (y_s-∑_{i∈S} α_i y_i x_i^T x_s )

小宇哥学AI
关注
专栏目录
机器学习基础 之 支持向量机（SVM）
真相很简单
03-30 770
支持向量机是一种，使用线性模型将测试样本一分为二的一种模型，并且两类样本的区别越大越好(间隔越远越好)，通过不同方式的优化升级，使得模型具有较高的鲁棒性，并可以解决一些非线性分类问题，简单来讲模型的优化过程如下...
机器学习——支持向量机（SVM）
weixin_47779143的博客
10-30 623
SVM基本型与对偶问题 优化目标：最大化分类间隔(margin)(margin)(margin) 原始模型：minω,b12∣∣ω∣∣2\underset{\omega,b}{min} \quad \frac{1}{2}||\omega||^2ω,bmin​21​∣∣ω∣∣2s.t.yi(ωTxi+b)≥1,i=1,2,...,ms.t. \quad y_i(\omega^Tx_i+b)≥1, \quad i=1,2,...,ms.t.yi​(ωTxi​+b)≥1,i=1,2,...,m 变量：ω=(.
支持向量机-SVM
网瘾少年康复中心
03-07 3362
小白理解的SVM
【机器学习】机器学习之支持向量机(SVM)
YangMax1的博客
11-04 2042
目录一、支持向量机（Support Vector Machine）介绍1. 支持向量机基本型二、三、 一、支持向量机（Support Vector Machine）介绍   支持向量机（Support Vector Machine，常简称为SVM）是一种监督式学习的方法，可广泛地应用于统计分类以及回归分析。它是将向量映射到一个更高维的空间里，在这个空间里建立有一个最大间隔超平面。在分开数据的超平面的两边建有两个互相平行的超平面，分隔超平面使两个平行超平面的距离最大化。假定平行超平面间的距离或差距越大，分类器
机器学习基础篇：支持向量机 - SVM
fmqdzh的博客
09-10 527
文章目录支持向量机 - SVM一、简单定义二、基本术语三、线性可分支持向量机四、线性支持向量机五、非线性支持向量机参考 支持向量机 - SVM 一、简单定义 支持向量机（support vector machines,SVM）是一种二类分类模型，它的基本模型是定义在特征空间上的间隔最大的线性分类器，间隔最大使它有别于感知机：支持向量机还包括核技巧，这使它成为实质上的非线性分类器，支持向量机的学习策略就是间隔最大化，可形式化为一个求解凸二次规划的问题，也等价于正则化的合页损失函数的最小化问题，支持向量机的
支持向量机基本型
m0_73665080的博客
10-20 152
支持向量机
机器学习——支持向量机
m0_54703897的博客
12-17 4354
SVM
机器学习——支持向量机——硬间隔与支持向量
gdy的博客
04-02 1868
SVM硬间隔与支持向量的数学推导
【数模百科】支持向量机SVM如何处理非线性数据——非线性SVM（python代码实现）
weixin_62457573的博客
01-06 1648
非线性支持向量机，是从原始的线性支持向量机演化而来的，与线性支持向量机的主要区别在于它可以处理非线性可分的数据集。这是通过使用一种所谓的“核技巧（Kernel trick）”来实现的。原始的线性支持向量机试图在样本的特征空间中寻找一个线性超平面，可以最大化地分隔两个类别的样本。然而，在实际情况中，我们经常会遇到一些问题，其中两个类别的样本无法通过一个线性超平面来完全分隔。
SVM(支持向量机)入门 (深入浅出讲解原理)
03-14
深入浅出讲解SVM的原理和应用，有点类似于傻瓜式的教学方法，个人觉得很有帮助。 SVM入门（一）SVM的八股简介 SVM入门（二）线性分类器Part 1 SVM入门（三）线性分类器Part 2 SVM入门（四）线性分类器的求解——问题的描述Part1 SVM入门（五）线性分类器的求解——问题的描述Part2 SVM入门（六）线性分类器的求解——问题的转化，直观角度 SVM入门（七）为何需要核函数 SVM入门（八）松弛变量。 SVM入门（九）松弛变量（续）。 SVM入门（十）将SVM用于多类分类。
推导 | SVM详解（1）SVM基本型
鹊踏枝-码农的专栏
09-22 1086
发现一篇对SVM讲解较好的博文，从SVM的基本原理到凸二次规划问题，再到约束优化问题到拉格朗日乘子的非约束优化问题，再到主问题与对偶问题的转化，讲解清楚，娓娓道来，博主链接，博文链接。建议再看一下Stanford CS229 Machine Learning的教学资料，是关于SVM的，有相关code。...
机器学习——支持向量机基本型（SVM）及对偶问题推导
最新发布
2301_82047153的博客
01-23 2541
1.点到直线的距离公式：设直线过点，方向向量为，由图1看出，点到直线的距离是以为邻边的平行四边形的底边上的高，因此有。在直角坐标系中点到平面的距离为:2.支持向量：假设超平面能将训练样本正确分类，即对于，若，则有；若，则有。令距离超平面最近的几个训练样本使得上式成立，我们称之为支持向量。3.线性规划标准型：对于约束矩阵，线性规划的规范形式为：4.拉格朗日乘数法：对于前面定义中所设的一般目标函数和约束条件组, 应引入辅助函数称此函数为拉格朗日函数, 其中。
支持向量机
ChenMeJn's blog
08-13 1558
支持向量机@(2016/08/02) 阅读笔记——周志华《机器学习》和李航《统计学习方法》 支持向量机（support vector machine）是一种二类分类模型，它的基本模型是定义在特征空间上的间隔最大的线性分类器，间隔最大使它有别于感知机；通过核技巧（kernel trick），使得支持向量机可以完成非线性空间上的分类。支持向量机的学习策略就是间隔最大化，可形式化为一个求解凸
机器学习之支持向量机
qq_43751506的博客
02-12 1231
一、支持向量机的概念 支持向量机(Support Vector Machine)是一类按监督学习方式对数据进行二元分类的广义线性分类器（generalized linear classifier），其决策边界是对学习样本求解的最大边距超平面(maximum-margin hyperplane)。 SVM有三宝：间隔、对偶、核技巧 SVM有三种：hard-margin SVM、soft-margin、kernel SVM 给定训练样本集D={(x1,y1),(x2,y2),...,(xm,ym),},yi∈{
支持向量机（一）
sflotus的专栏
11-28 454
支持向量机
【机器学习】 SVM（Support Vector Machine）——支持向量机（上）
Zhang_Chen_的博客
10-01 666
1.线性SVM
SVM-支持向量机学习（1）：线性可分SVM的基本型
鸟恋旧林的博客
08-31 8488
1. foreword先看的是李航老师的书第7章，比较传统按照以下三节展开： 线性可分SVM 线性SVM 非线性SVM SMO算法 李航老师讲东西向来不拖泥带水，但本节也几乎用了40页的篇幅，足见涉及内容之多。7月底硬着头皮啃了下来，边看边在笔记上摘抄标注，花了2天时间对SVM有了基本认识。一个月过去了，如今重新整理为博客，再看轻松许多，并不断对比西瓜书的内容，启望达到融会贯通。西瓜书此节明显节奏轻
吴恩达机器学习（七）支持向量机 1/3 —— 建立 SVM 基本型（超平面与间隔）
fun1024
03-31 1411
SVM精讲1/3——建立 SVM 基本型，超平面与间隔
Python机器学习实战：支持向量机(SVM)详解
"这篇资源是关于Python机器学习中的支持向量机(SVM)理论与实战的讲解，适合对机器学习感兴趣的读者参考。内容包括SVM的优化目标、松弛变量、拉格朗日乘子法、核函数等核心概念，并探讨了C参数在模型中的作用以及如何...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值