深入浅出机器学习之支持向量机SVM1

CSDN上有许多优秀的此类的博客，专业性的东西我不太擅长，看到的时候尽管是非常简单的理论，也会让我推导很长时间。于是我想讲这些最简单的地方也提到，希望能够帮助大家。

 首先应该说的是分类器中的线性分类。线性分类最简单，就是用一条直线将平面上的两堆数据进行分开。我们做的工作就是求出来这条直线。至于推广到多维空间也是如此，看到许多博客上用超平面来形容这条直线，本着通俗易懂的目的，那我还不如直接用二维的来讲解更为简单。

通俗来说都是用logisticl回归来作为主要的方法，上面的图描述的是logistic回归下为1的概率。在远大于0，或者远小于零的地方，我们可以看到接近1或者0，那么我们可以很自信的说他们1类还是0类。但是如果我们要求的点事在0的附近，那该怎么办呢？

支持向量机的主要的思想就是，尽量让我们以后要求的点远离0，也就是说，当我们用一条直线来分类的时候，我们的点要尽量远离直线，那么分类就更加容易。

那么，问题就转化成了，求这些点与直线的距离，并且将距离最大化。

但是 ，这么多样本中的点我们并不是都关心。许多的点本身已经远离，我们怎么调整直线都跟这些点没有关系，因此，我们只关心离直线最近的点。

（july写的已经很好了，直接拿来）接下来，尝试把logistic回归做个变形。首先，将使用的结果标签y = 0和y = 1替换为y = -1,y = 1，然后将（）中的替换为b，最后将后面的替换为（即）。如此，则有了。也就是说除了y由y=0变为y=-1外，线性分类函数跟logistic回归的形式化表示没区别。

    进一步，可以将假设函数中的g(z)做一个简化，将