SVM支持向量机

今天讲到的公式和定理:

超平面

拉格朗日不等式约束

线性可分支持向量机

讲座主题: 支撑向量机

复习：

1.可分性判据

（1）单调

（2）度量特性：要么大于0，要么小于0

（3）加上或者减去一个数，不变

（4）满足叠加性

一、基本概念

1.数据集的线性可分

存在一堆数据集𝑥𝑖,𝑦𝑖，若存在𝜔𝑇,𝑏使得ωTxi+b大于0时，yi=+1;小于0时，yi=−1.则称这组数据线性可分

2.超平面

划分超平面对应方程 𝜔𝑇𝑥+𝑏=0

划分超平面由这两个参数唯一确定，将特征空间分为两部分。

3.间隔

函数间隔与几何间隔的关系

由于w,b成倍改变时，超平面没变，但是函数间隔增大了相应倍数，因此在寻找超平面时，我们选择将函数间隔归一化称为几何间隔，也因此我们认为函数间隔的改变不影响线性可分支持向量机

（1）函数间隔

𝛾𝑖=𝑦𝑖⋅𝜔𝑇𝑥+𝑏

yi为1时，是正数；为-1时，是负数

对于训练样本数据集时，取min 函数间隔

也就是取距离超平面最近的点的函数间隔作为样本集的函数间隔

（2）几何间隔

𝛾=𝛾𝜔当范数为1时，几何间隔就是函数间隔

（3）最大间隔分离超平面

支持向量机时定义在特征空间上间隔最大的线性分类器，其学习思想史找到能够正确划分训练数据集并使得几何间隔最大的分离超平面

𝑚𝑎𝑥           𝛾𝑠.𝑡.   𝛾𝑖=𝑦𝑖𝑤𝜔𝑇𝑥𝑖+𝑏𝑤 𝑖=1,2,3,4,5,6…

二、支撑矢量机学习算法

根据训练样本是否线性可分，支撑向量机可分为三种模型：

（1）线性可分支持向量机

（2）线性支持向量机

（3）非线性支持向量机

三、线性可分支持向量机

为什么取函数间隔为1？

 

摘要

讲座结束后，总结该讲座主题的要点。

• 线性可分支持向量机的推导很重要