感知机算法（一）---原理

　　感知机算法是错误驱动的在线学习算法。首先初始化一个权重W0、截距b,然后每次分错样本时，就用这个样本改变权重以及截距b。其实就是构造了一个分类超平面。

（１）感知机算法的学习策略是极小化误分类点到超平面的距离。

　　具体推导过程如下所示，其实不用看下面，很简单，就是求出误分类点到分类超平面之间的距离总和。即学习的损失函数就是误分点到超平面距离。

（２）接下来，模型的学习策略，损失函数都有了，接下来看看学习算法。

　　在感知机中，进行权重w,截距b参数的迭代的算法是我们非常熟悉的随机梯度下降。随机梯度这部分内容之前也有做过了解，在数学之美系列中。

　　以上两部分内容相对来说还是蛮简单的，感知机也算是机器学习算法里面最简答的一个算法了，但它却是神经网络，SVM等的基础。接下来学习一下感知机的对偶形式。之前的感知机的原式形式中，由于其中在多维空间中计算量巨大（不仅仅对每个点进行迭代，还有多维度之间的计算），因此推出了dual对偶形式，提前计算Gram矩阵。先了解一下如何推出对偶形式。

（３）对偶形式

感知机算法分析：

　　（1）感知机二分类模型为  f(x) = sign(w.x+b)  分类超平面为w.x+b=0

　　（2） 感知机学习策略是极小化损失函数  minL(w,b)  损失函数对应于误分类点到超平面之间的距离

　　（3）感知机学习算法是基于随机梯度下降算法的对损失函数的最优化算法，有原始形式，对偶形式。

　　（4）当数据是线性可分的时候，感知机学习算法是收敛的，即经过有限次迭代之后，总能找到一个超平面正确进行分类。此外，感知机学习算法存在无穷多个解，其解由于初值以及迭代顺序的不同而可能不同。

　　接下来就是动手实践了，这篇博文有点稍长，放在下一篇博文中，下篇博文给出了感知机原始形式代码以及对偶形式代码。