支持向量机
- 有监督学习
- 分类问题
- V a p n i k Vapnik Vapnik
- 线性可分支持向量机/线性支持向量机/非线性支持向量机
什么是支持向量机呢?
S u p p o r t V e c t o r M a c h i n e Support\space Vector\space Machine Support Vector Machine:支持向量机
先抛出难懂的定义~可以先跳过,最后再来回顾
定义:支持向量机的基本模型是定义在特征空间上的间隔最大的线性分类器。支持向量机还包括核技巧,这使得它成为实质上的非线性分类器。支持向量机的学习策略即间隔最大化,可以形式化为一个求解凸二次规划的问题,也等价于正则化的合页损失函数的最小化问题。支持向量机的学习算法是求解凸二次规划的最优化问题。
支持向量机的学习方法由简至繁:
- 线性可分支持向量机 ( l i n e a r s u p p o r t v e c t o r m a c h i n e i n l i n e a r l y s e p a r a b l e c a s e ) (linear \space support\space vector\space machine\space in\space linearly\space separable\space case) (linear support vector machine in linearly separable case)
- 线性支持向量机 ( l i n e a r s u p p o r t v e c t o r m a c h i n e ) (linear \space support\space vector\space machine) (linear support vector machine)
- 非线性支持向量机 ( n o n − l i n e a r s u p p o r t v e c t o r m a c h i n e ) (non-linear \space support\space vector\space machine) (non−linear support vector machine)
根据训练数据:
-
当训练数据线性可分时,通过硬间隔最大化 ( h a r d m a r g i n m a x i m i z a t i o n ) (hard \space margin \space maximization) (hard margin maximization),学习一个线性的分类器,即线性可分支持向量机,又称为硬间隔支持向量机
-
当训练数据近似可分时,通过软间隔最大化 ( s o f t m a r g i n m a x i m i z a t i o n ) (soft \space margin \space maximization ) (soft margin maximization),学习一个线性的分类器,即线性支持向量机,又称为软间隔支持向量机
-
当训练数据不可分时,通过核技巧 ( k e r n e l t r i c k ) (kernel \space trick) (kernel trick),学习非线性支持向量机
1.初步了解,当数据是线性可分时
假设现在二维平面上有两组不同标签的数据,你能够区分这两组数据吗?
你可能已经能够想出类似与下方图片的划分方法。很显然,在绿线左边的是黑色的类,而右边的是蓝色的类。
这就是 S V M SVM SVM做的事情(在多维平面上分离各组类),它能够找到一个超平面(此处为直线),有效的将两组类区分。绿色的直线即为我们找到的支持向量的分类器。当然