从感知机到逻辑斯蒂回归到支持向量机

机器学习的一个重要任务是进行分类，以二分类来说，如果数据是线性可分的，我们往往会找到一个超平面WX+B对数据有良好的分类能力，二维空间便是直线kx+b，二维及以上我们称之为超平面，下面从最基本的感知机开始说起：

感知机：

比如说我们有一个坐标轴（图中的黑色线），横的为x1轴，竖的x2轴。图中的每一个点都是由（x1，x2）决定的。如果我们将这张图应用在判断零件是否合格上，x1表示零件长度，x2表示零件质量，坐标轴表示零件的均值长度和均值重量，并且蓝色的为合格产品，黄色为劣质产品，需要剔除。那么很显然如果零件的长度和重量都大于均值，说明这个零件是合格的。也就是在第一象限的所有蓝色点。反之如果两项都小于均值，就是劣质的，比如在第三象限的黄色点。

它是怎么学会的呢？

程序拿到手的是当前图里所有点的信息以及标签，也就是说它知道所有样本x的坐标为（x1， x2），同时它属于蓝色或黄色。对于目前手里的这些点，要是能找到一条直线把它们分开就好了，这样我拿到一个新的零件，知道了它的质量和重量，我就可以判断它在线的哪一侧，就可以知道它可能属于好的或坏的零件了。例如图里的黄、蓝、粉三条线，都可以完美地把当前的两种情况划分开。甚至x1坐标轴或x2坐标轴都能成为一个划分直线（这两个直线均能把所有点正确地分开）。

数学角度理解：

 

sign好像很简单，当x大于等于0，sign输出1，否则输出-1。那么往前递归一下，wx+b如果大于等于0，f(x)就等于1，反之f(x)等于-1。 

那么wx+b是啥？

它就是那条最优的直线。我们把这个公式放在二维情况下看，二维中的直线是这样定义的：y=ax+b。在二维中，w就是a，b还是b。所以wx+b是一条直线（比如说本文最开始那张图中的蓝线）。如果新的点x在蓝线左侧，那么wx+b<0,再经过sign，最后f输出-1，如果在右侧，输出1。等等，好像有点说不通，把情况等价到二维平面中，y=ax+b，只要点在x轴上方，甭管点在线的左侧右侧，最后结果都是大于0啊，这个值得正负跟线有啥关系？其实wx+b和ax+b表现直线的形式一样，但是又稍有差别。我们把最前头的图逆时针旋转45度，蓝线是不是变成x轴了？哈哈这样是不是原先蓝线的右侧变成了x轴的上方了？其实感知机在计算wx+b这条线的时候，已经在暗地里进行了转换，使得用于划分的直线变成x轴，左右侧分别为x轴的上方和下方，也就成了正和负。

那么，为什么是wx+b，而不叫ax+b？

在本文中使用零件作为例子，上文使用了长度和重量（x1，x2）来表示一个零件的属性，所以一个二维平面就足够，那么如果零件的品质和色泽也有关系呢？那就得加一个x3表示色泽，样本的属性就变成了（x1，x2，x3），变成三维了。wx+b并不是只用于二维情况，在三维这种情况下，仍然可以使用这个公式。所以wx+b与ax+b只是在二维上近似一致，实际上是不同的东西。在三维中wx+b是啥？我们想象屋子里一个角落有蓝点，一个角落有黄点，还用一条直线的话，显然是不够的，需要一个平面！所以在三维中，wx+b是一个平面！至于为什么，后文会详细说明。四维呢？emmm…好像没法描述是个什么东西可以把四维空间分开，但是对于四维来说，应该会存在一个东西像一把刀一样把四维空间切成两半。能切成两半，应该是一个对于四维来说是个平面的东西，就像对于三维来说切割它的是一个二维的平面，二维来说是一个一维的平面。总之四维中wx+b可以表示为一个相对于四维来说是个平面的东西，然后把四维空间一切为二，我们给它取名叫超平面。由此引申，在高维空间中，wx+b是一个划分超平面，这也就是它正式的名字。

def：wx+b是一个n维空间中的超平面S，其中w是超平面的法向量，b是超平面的截距，这个超平面将特征空间划分成两部分，位于两部分的点分别被分为正负两类，所以，超平面S称为分离超平面。

细节：

w是超平面的法向量：对于一个平面来说w就是这么定义的，是数学知识，可以谷歌补习一下

b是超平面的截距：可以按照二维中的ax+b理解

特征空间：也就是整个n维空间，样本的每个属性都叫一个特征，特征空间的意思是在这个空间中可以找到样本所有的属性组合

感知机的学习策略：

 我们从最初的要求有个f(x)，引申到能只输出1和-1的sign(x)，再到现在的wx+b，看起来越来越简单了，只要能找到最合适的wx+b，就能完成感知机的搭建了。前文说过，让误分类的点距离和最大化来找这个超平面，首先我们要放出单独计算一个点与超平面之间距离的公式，这样才能将所有的点的距离公式求出来

 先看wx+b，在二维空间中，我们可以认为它是一条直线，同时因为做过转换，整张图旋转后wx+b是x轴，那么所有点到x轴的距离其实就是wx+b的值对不？当然了，考虑到x轴下方的点，得加上绝对值->|wx+b|，求所有误分类点的距离和，也就是求|wx+b|的总和，让它最小化。很简单啊，把w和b等比例缩小就好啦，比如说w改为0.5w，b改为0.5b，线还是那条线，但是值缩小两倍啦！你还不满意？我可以接着缩！缩到0去！所以啊，我们要加点约束，让整个式子除以w的模长。啥意思？就是w不管怎么样，要除以它的单位长度。如果我w和b等比例缩小，那||w||也会等比例缩小，值一动不动，很稳。没有除以模长之前，|wx+b|叫函数间隔，除模长之后叫几何间隔，几何间隔可以认为是物理意义上的实际长度，管你怎么放大缩小，你物理距离就那样，不可能改个数就变。在机器学习中求距离时，通常是使用几何间隔的，否则无法求出解

 

对于误分类的数据，例如实际应该属于蓝色的点（线的右侧，y>0），但实际上预测出来是在左侧（wx+b<0），那就是分错了，结果是负，这时候再加个符号，结果就是正了，再除以w的模长，就是单个误分类的点到超平面的举例。举例总和就是所有误分类的点相加。

上图最后说不考虑除以模长，就变成了函数间隔，为什么可以这么做呢？不考虑wb等比例缩小这件事了吗？上文说的是错的吗？

有一种解释是这样说的：感知机是误分类驱动的算法，它的终极目标是没有误分类的点，如果没有误分类的点，总和距离就变成了0，w和b值怎样都没用。所以几何间隔和函数间隔在感知机的应用上没有差别，为了计算简单，使用函数间隔。

 

 关于对偶形式：

在算法的最初需要给定一个w和b的值，这样才能使得w和b可以进行梯度下降，我们可以随便给一个，也可以随机初始化一个。在对偶形式中，让w和b初值都为0，这样w和b最终最优值其实就是相对于0的增量，也就是相对于初值的增量。此时公式中出现了xi*x，因为需要频繁计算这两项，可以提前先做一个矩阵，里头是对于所有i的xi*x的值，那在计算过程中就不需要再算了，直接查矩阵就好了。提高了速度，也就是Gram矩阵

---------------------------------------------------------------------------------------------------------------------------------逻辑斯蒂回归：

本文讲的都是分类问题，然而这里却说回归，本质上，逻辑斯蒂回归并不是回归而是分类。

逻辑斯蒂回归弥补了感知机的缺陷，细心的人会发现，感知机存在一个很重要的问题，我们只用sign(w*x+b)输出的+1和-1来判断点的类别是不是太简单了？是不是有点生硬的感觉。

这么简单的判别方式真的会很有效吗？

当然了，虽然我们已经程序测试过正确率很高，但总是让人有点担心是否在很多情况下都能很好地工作。事实上我们从小到大一直会听到一些升学考试差一分两分的例子，那么差一分和高一分的学生真的就是天壤之别吗？感知器也是如此：在超平面左侧距离0.001的点和右边0.001距离的点输出就是+1和-1这天壤之别的差距真的合适吗？

 

此外我们也知道机器学习中通常会对目标函数进行微分进而梯度下降，但我们看上面这张图。很明显x=0是跳跃间断点，因此sign是一条不光滑的函数，没有办法进行微分。那我记得感知器用了梯度下降，它是怎么去梯度下降的？

我们回忆一下感知器的梯度下降方式，确实用了梯度下降，但是发现没有，它把sign的壳子去掉了，对sign内部进行梯度下降，相对于其他能直接微分的算法来说，感知器的这种方式确实有点不太好。

 

1.怎么解决极小距离差别带来的+1和-1的天壤之别？

在逻辑斯蒂回归中大致思想与感知器相同，但在输出+1与-1之间存在一些差别。在朴素贝叶斯中我们提到过P(Y|X)，它表示在给定X条件下，Y发生的概率。逻辑斯蒂也使用了同样的概念，它使用p(Y=-1|X)和p(Y=1|X)来表示该样本分别为-1或1的概率（实际上逻辑斯蒂并非强制要求标签必须为1或-1，可以用任意标签来表示）。这样当再出现样本X1距离为-0.001时，可能P(Y=1|X1)=0.49，P(Y=0|X1)=0.51,那么我们觉得X1为0的概率更大一点，但我们同时也清楚程序可能并不太确定X1一定为0。

使用概率作为输出结果使得样本在距离很小的差别下不再强制地输出+1和-1这两种天壤之别的结果，而是通过概率的方式告诉你结果可能是多少，同时也告诉你预测的不确信程度。这样子看起来让人比较安心一点不是吗？

2.怎么让最终的预测式子可微呢？

虽然无法微分并不会阻碍感知器的正常工作（事实上只是避开了sign），但对于很多场合都需要微分的机器学习来说，能找到一个可以微分的最终式子是很重要的。为了解决第一个问题我们提出了一种概率输出模型，那么感知器的sign也需要被随之替换为一种能输出概率大小的函数。具体函数在下文中详细讲解，其中值得高兴的是，我们找到的概率输出式子是平滑的，可微的，所以第二个问题也就迎刃而解了。

与感知器一样，我们先不管内部怎么工作，最好能够得到一个函数f(x)，我们将样本x放进去以后，它告诉我们属于1的概率是多少。比如说f(y=1|x)=0.2，f(y=0|x)=0.8，我们就知道该样本的标签大概率是0。总结一下也就是分别比较两种类别的概率大小，概率大的那一方则作为预测类别进行输出。f函数的定义如下图所示。

 下图就是f(wx+b)的图像，我们假设一下点X在超平面右边，那么距离应当为正，如果距离无穷大时，exp(w*x + b)无穷大，P(Y=1|x)=1，也就是概率为1，表极其确信。如果wx+b是一个很接近0的数，exp(w*x + b)接近1，P(Y=1|x)=0.5，表示两边都有可能，不太确定。我们对于每一个样本点分别计算属于两类的概率，概率较大的一方作为预测的输出。

 既然模型有了，那么就需要计算参数以此来得到划分的超平面。在计算参数上一般使用最大似然函数，关于最大似然函数的介绍可以在网上进行相关浏览。由于我们使用的sigmod函数很光滑，是可微函数，因此可以直接对似然函数求导，进行梯度下降找到参数的最优点。

这便是逻辑斯蒂的基本原理。

源码见下面链接：https://github.com/GuYueTech/MachineLearning

SVM单独开篇幅。