感知机

感知机

感知机是一种最简单的线性二分类模型，可以在输入空间（特征空间）将实例划分为正负两类。

感知机学习算法的原始形式

对于输入空间，感知机通过以下函数将其映射至{+1，-1}的输出空间 

f(x)=sign(w⋅x+b)                     
对于所有的错分类点i∈M，都有−yi(w⋅xi+b)>0,因此我们可以定义如下的损失函数作为优化准则： 

               

通过求解损失函数的梯度， 

我们很容易就可以得到感知机学习算法的原始形式. 

                                                                                                                                                                    (1) 
整个算法流程如下：

1.   选取初值w0,b0

2.   在训练集中任意选取点(xi,yi)

3.   如果−yi(w⋅xi+b)>0则按照(1)式更新w,b

4.   重复2直到没有被误分的点

以上即为感知机算法的原始形式。

感知机学习算法的对偶形式

对偶形式的基本想法是，将w和b表示为实例xi 和标记 yi的线性组合的形式，通过求解其系数而求得w和b.

假设w0=0,b=0,那么从(1)式可以看出，当所有的点均不发生误判时，最后的w,b一定有如下的形式: 

                    、

其中αi=niη中ni代表对第i个样本的学习次数，感知机对偶形式的完整形式即为： 

1. 初始化α=0,b=0.
2. 任意选取(xi,yi)
3. 如果,即发生误判，则对αi,b进行更新： 

（注：此处对αi,bi的更新仅利用（xi，yi））

4. 重复2直到所有点都被正确分类

感知机的对偶形式就是把对w,b的学习变成了对α,b的学习，原始形式中，w在每一轮迭代错分时都需要更新，而采用对偶形式时，对于某一点(xi,yi)发生错分时，我们只需要更新其对应的αi即可，即可一次计算出w。 
原始形式和对偶形式对参数b的处理是相同的。