机器学习之支持向量机（线性可分定义）

最新推荐文章于 2024-07-27 10:36:48 发布

Lion丶Dream

最新推荐文章于 2024-07-27 10:36:48 发布

阅读量1.7k

点赞数 1

分类专栏：机器学习文章标签：机器学习支持向量机人工智能 1024程序员节

本文链接：https://blog.csdn.net/Lion_Dreams/article/details/125510609

版权

机器学习专栏收录该内容

4 篇文章 1 订阅

订阅专栏

1 直观定义

1.1 线性可分（Linear Separable）

如上图所示，特征空间为二维，并且是一个二分类问题。对于线性可分，指的就是存在一条直线可以将上图的o和×分开，就称为线性可分。对于三维的特征空间，分割的直线就变成了平面；对于四维以上，就称为超平面。

1.2 线性不可分（Nonlinear Separable）

与线性可分的定义恰恰相反，线性不可分指的是不存在一条直线，将特征空间中的特征分开。例如上图所示，不能用一条直线将o和x分开，则就是线性不可分。

2 数学定义

2.1 线性可分

如上图所示，同样是二分类问题。在这个二维空间中，我们可以找到一条直线将o和x分开，进一步我们假设出直线的方程为：

$w_{1}x_{1}+w_{2}x_{2}+b=0$

同样的，假设o所在的区域（C1）为 $w_{1}x_{1}+w_{2}x_{2}+b>0$ ，x所在的区域（C2）为 $w_{1}x_{1}+w_{2}x_{2}+b<0$ (人为规定，可以和上述例子不同)。其中 $w_{1},w_{2},b$ 都是未知量。

接下来，我们用数学定义训练样本以及对应的标签。假设我们有N个训练样本以及对应的标签，记为 $\{(X_{1},y_{1}),(X_{2},y_{2}),...,(X_{N},y_{N})\}$ 。其中 $X_{i}=[x_{i1},x_{i2}]^{T}$ , $y_{i}={\{+1,-1}\}$ ，其中+1表示xi属于c1，-1表示xi属于c2。

线性可分的严格定义：一个训练样本集 $\{(X_{1},y_{1}),(X_{2},y_{2}),...,(X_{N},y_{N})\}$ 在i=1~N线性可分，是指存在 $(w_{1},w_{2},b)$ ，使得对于i=1~N有：

$(1)y_{i}=+1\rightarrow w_{1}x_{i1}+w_{2}x_{i2}+b>0$

$(2)y_{i}=-1\rightarrow w_{1}x_{i1}+w_{2}x_{i2}+b<0$

对于向量形式的定义，假设

$x_{i}=\begin{bmatrix}x_{i1}\\ x_{i2}\end{bmatrix}^{T} w=\begin{bmatrix}w_{1}\\ w_{2}\end{bmatrix}^{T}$

$(1)y_{i}=+1\rightarrow w^{T}X_{i}+b>0$

$(2)y_{i}=-1\rightarrow w^{T}X_{i}+b<0$

总结其最简化形式定义：一个训练样本集 ${\{(X_{i},y_{i})}\}$ 在i=1~N线性可分，是指存在 $(w,b)$ ，使得对于i=1~N有：

$y_{i}(w^{T}X_{i}+b)>0$

Lion丶Dream

关注

1
点赞
踩
10

收藏

觉得还不错? 一键收藏
打赏
0
评论
机器学习之支持向量机（线性可分定义）

如上图所示，同样是二分类问题。在这个二维空间中，我们可以找到一条直线将o和x分开，进一步我们假设出直线的方程为：同样的，假设o所在的区域（C1）为，x所在的区域（C2）为(人为规定，可以和上述例子不同)。其中都是未知量。接下来，我们用数学定义训练样本以及对应的标签。假设我们有N个训练样本以及对应的标签，记为。其中,，其中+1表示xi属于c1，-1表示xi属于c2。
复制链接

扫一扫