单层感知机与多层前馈神经网络

单层感知机：
感知机是一个二元分类的线性模型。它采用海维赛德（Heaviside）阶跃函数作为激活函数。
海维赛德阶跃函数： x为‘门限值，如0.5’，y=0，否则y=1. 程序说法是： x<0.5?0:1
从神经元细胞借鉴的‘门限’和‘权重和’的概念是建模的关键。
向量xw的点积--》海维赛德阶跃函数（作为激活函数）--》分类0，1
XW+b, b为偏好。如果b为负，样本X一定，为使结果仍为0.5，要求W更大。
所以调整b可以调整决策边界。
输入X并不影响b,b通过感知学习算法获得。
单层感知机--》多层感知机。
单层感知机：输入--》（X点乘W）+b--》海维赛德阶跃函数--》分类结果
output = H(Wi · Ai + b),  H指海维赛德阶跃函数
感知学习算法：功能类拟于前面的更新函数，调整权重W和偏好b.
如果样本没有被线性划分，感知学习算法不会中止。
W初始化为小随机值或0.
XOR逻辑是线性不可分的。
x1 x2 y
0  0  0
0  1  1
1  0  1
1  1  0
早期感知机的限制:不能处理XOR等非线性问题，多层感知机可以。
单层感知机为什么不能分类线性问题，证明见：http://blog.csdn.net/panda07100/article/details/38580993
由于这个限制，导致AI第一次冬天，1974–1980，直到后来的反向传播算法。