深度学习算法第二课——SVM原理

目录

1.SVM简介

 2.对偶问题

 3.softmaigin

 4.核函数

 5.SVM回归

---

1.SVM简介

        支持向量机（support vector machines, SVM）是一种二分类模型，它的基本模型是定义在特征空间上的间隔最大的线性分类器，间隔最大使它有别于感知机；SVM还包括核技巧，这使它成为实质上的非线性分类器。SVM的的学习策略就是间隔最大化，可形式化为一个求解凸二次规划的问题，也等价于正则化的合页损失函数的最小化问题。SVM的的学习算法就是求解凸二次规划的最优化算法。

        举个例子，让我们想象两个类别：红色和蓝色，我们的数据有两个特征：x 和 y。我们想要一个分类器，给定一对（x，y）坐标，输出仅限于红色或蓝色。将已标记的训练数据列在下图中：

        支持向量机会接受这些数据点，并输出一个超平面（在二维的图中，就是一条线）以将两类分割开来。这条线就是判定边界：将红色和蓝色分割开。

 

 

 

         对于 SVM 来说，最好的超平面是最大化两个类别边距的方式，换句话说：超平面（在本例中是一条线）对每个类别最近的元素距离最远。

 

 2.对偶问题

原问题的定义：

 对偶问题：

 

 

强对偶定理：

 

 3.softmaigin

 4.核函数

        由图可见，无法用直线(线性模型)将正负 实例正确分开，但可以用一条椭圆曲线(非线性模型)将它们正确分开。 假设可以通过一个转换函数将低维空间的数据集映射到高维空间的数据集， 这时候的数据会变得容易线性可分，如上图右侧所示。

 5.SVM回归