感知机介绍

1，数学定义：

Note:<>在数学中通常指求期望的意思。

假设我们用感知机区分cat和dog，使用下面三个特征：x1: color of hair；x2:length of leg；x3:volume of head。cat 用+1表示，dog用-1表示（对应到$\sigma (x)$函数的话，当函数结果为1时，判定为cat，为0时，判定为dog）。

三个特征对应有三个权重w1, w2, w3。

2，训练感知机

假如有三只cat和三只dog参与训练，编号分别为1,2,3,4,5,6。六只动物的统计信息如下（对于x1变量，假设0表示red，1表示yellow，2表示white）：

1），初始化数据，w1到w3都设置为0；
2），样本1输入，y1[<w,x> +b]等于0，则需要对w1,w2,w3,b进行更新，w1 = x1y1+0 =0, w2 = x2y1+0 = 18, w3 = x3y1+0=37, b= 0+1=1；
3），样本2输入，容易计算得到y2[<w,x> +b]等于510.6667，结果大于0，模型不用更新；
4），样本3输入，容易判断模型仍不用更新；
5），样本4输入，y4为-1，模型需要更新；
6），。。。把所有的样本都训练完。

3，收敛定理

上述训练过程很粗糙，可能把所有样本都训练完了，模型效果也不好。可以用如上定理判断是否收敛。

4，感知机不能解决XOR问题