SVM的学习

        SVM重新梳理：

       支持向量机(Support vector machines,SVM)，是一种二类分类的模型，是一种判别模型，得到决策函数，来进行判断。SVM的基本模型是定义在特征空间上的间隔最大的线性分类器，SVM可以看作是感知机的高级版本，因为感知机只要求正确的对线性可分的数据进行分离就可以，但SVM则要求最大的程度的对其进行分离，而且对于感知机只能处理的是线性可分的数据，但SVM的应用则广的多，通过核技巧，可用于非线性可分的数据。假设空间，在特征空间的一个线性分类超平面，用于将特征空间划分为正例和负例的情况。策略，间隔最大。算法，凸二次优化问题最优化算法，KKT条件，等价于正则化的合页损失函数的最小化问题。

         介绍SVM，首先，我们需要明确SVM出现的背景。如果数据是线性可分的情况，也就是感知机算法是收敛的，那么因为感知机算法得到的分离超平面是不唯一，我们为了求出一个唯一的平面，我们给定了一个条件，使其间隔最大，也就是分离超平面处于正中的位置，然后由这个间隔最大的条件使分离超平面唯一，那么此时我们的算法为线性可分支持向量机(linear support vector machine in linearly seperable case)，此时的间隔我们称为硬间隔（hard margin maximization），也就是一点都不含糊的情况。如果数据是近似线性可分的情况，我们对间隔最大的条件进行放松，此时的间隔我们称为软间隔(soft margin maximization)，也就是可以在一定范围内出错的情况，然后这种算法我们称为线性支持向量机(linear support vector machine)。如果数据完全看不出来线性可分的规律，这个时候，我们不管用什么间隔都不能分开这些数据，那么我们就通过核技巧把数据映射到高维的情况，然后在高维的情况下进行软间隔最大化，然后得到这样一个高维的分离超平面，这种算法我们成为了非线性支持向量机(non-linear support vector machine)。