【机器学习】支持向量机SVM

SVM(支持向量机)是一种二分类模型,其目标是找到能最大化间隔的超平面,确保两类数据点被正确分开且距离超平面最远。支持向量是离超平面最近的数据点,在线性可分情况下,模型只与这些点相关。SVM通过KKT条件求解,软间隔处理非线性问题,而核函数则允许SVM进行非线性变换,实现高效分类。此外,SVM还应用于支持向量回归等任务。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

目标:找到一个超平面,使他能够尽可能多的将两类数据点正确分开,同时使分开的两类数据点距离分类平面最远。

SVM是一种二分类模型,它的基本模型是定义在特征空间的间隔最大化的分类器

cad4e374403a91c5ba29fd43d52ed4a1.png

函数间隔和几何间隔

3f0ae083ffde39d1c8949eda40f4cf8b.png
6a690c00a709a4946878e7f25757b40f.png
  • 样本点的函数间隔:

9cea8457290d16c032f78e88eb0d0aa1.png
  • 样本点的几何间隔(点到平面的距离):

7dfdb5a93ea3a72b632d6767324d95b3.png

间隔最大化:

d73a8e5fd8057ea744f5acd072b15432.png
628cda9b9b779c4f36068eb6a78c1811.png

线性可分SVM

  1. 求解过程

a00180a9c8c107e168ca7a8d82f3b709.png
f128bb08f6753421c3cd56ba0c4cf31f.png
fa67122db83a3db7f292b3161873f8e3.png
628d06623bb2db9c9c75bef30953f1b5.png
08fb67545c2998a25acc4df116fbafc5.png
520d8bd72ec9e67426c7e85af1a4b67a.png

KKT条件:

0a48722d8a73f3c426a3a04f788bd90f.png
3c3f5859dc817f9efc751043f5d3bdbb.png
993fe7cea648353bd8f8074f4481b3e9.png

 

2. 支持向量

cbc943a186e2b3b79326d175b1d72116.png

在线性可分情况下,训练数据集的样本点中与分离超平面距离最近的样本点的实例称为支持向量

3340a9222ad26332bcb933db004c05a2.png

最终模型仅与支持向量有关

609ee45dcd028d0bb5b24e9673d4c1c5.png

3. 线性可分SVM学习算法

071c74a2b4bd8926512df0bedfe3b3a7.png
2019a9990b46f711e75de55d099231ab.png

4. SMO算法

1adff8c7a26441596b8cc4e14c1ebaf7.png

软间隔最大化

9260b8f36304bc2eab8c6ce08f60e380.png
  1. 求解过程

7e9a7c60da7a9558d033aca08ff6ed0d.png
12b2e7ca617c32060cd0a5632a85f85e.png
a61030fe68d4067fdfab89964e345c9f.png
fee79960e65a5abd20cccb2429b2a9c1.png

KKT条件:

6959af8f006075fa4ee7656d4937c3b0.png

2. 软间隔线性SVM算法

ad62c5ca5a92e26307fb5220c5e4acea.png
26fddae2f5beecc18622c96f6540b75f.png

3. 软间隔的支持向量

daa57bc28874d38fe18e417a43f70444.png
d4ab5a52ee47432e79b3e4822ce7af21.png

核函数与核方法

1ec18e1ac2a3ef6a873982fe6c6fe92c.png
9125ea599f874270fd2834d5ab27d716.png
  1. 核函数

8c070f20d95061ac27ab4b9b47b1086c.png
f88c6e7c0bced8c75c2e130aabaa53fd.png

2. 表示定理

dca65a592e5d558b01234c84bcd863a0.png

支持向量回归

6dbf36903db154b77f59035fb662738f.png
e2bf7052b5634273164fa7538e5f9dfc.jpeg
a1289b2579ea9b2f381625684db12422.png
7f3e541bc589fc7acf814e2193b7e628.png

 

 

 

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值