感知机详解

感知机模型：

感知机就是一个激活函数＋线性函数组合成的，可以解决二分类问题。

其中采用密度梯度下降法进行误分类驱动，使得损失函数L(w,b)不断减小为0.

 感知机的缺陷与解决：

对异或（XOR），感知机为什么不能表示异或

 

 通过两个感知机，使其变为线性可分。

 或者采用核函数进行升维度

算法的收敛性：

 

 

 

 

算法的原始形式与对偶形式

1.原始形式：

 ni表示第i个实例点在参数更新中所贡献的次数

例如:

计算过程：

a1 = 2 * 1 = 2     a2 = 0    a3 =  5 * 1 = 5

y1 = +1     y3 = -1     x1 = (3,3)    x3 = (1,1)      

w = 2*1*(3,3)  +  5*(-1)*(1,1) = (1,1)

b = 2*1 - 5*(-1) = -3

对偶形式：