1.神经网络的历史
第一阶段(1940-1970)
- 1943年,形式神经元模型的产生(M-P模型);
- 1958年,感知器的提出(经过训练确定神经元的连接权重);
- 1969年,提出感知器无法解决线性不可分问题。
第二阶段(1980-1990)
- 1980年,神经认知机的提出;
- 1982年,Hopfield模型的提出;
- 1986年,误差反向传播算法的提出(利用多层感知器解决线性不可分问题);
- 1989年,卷积神经网络的提出。
2.M-P模型
假设有三个参数,相应的M-P模型如下:
- 其中为参数,参数需要人为事先计算后决定;
3.感知器模型
- 与M-P模型相比,感知器模型通过训练自动确定参数;
- 感知器模型是有监督学习模型,通过误差修正学习方法迭代求解。
- 误差修正学习策略如下:
- 其中r是得到的实际值,y是期望值;
- 当y=0,r=1时:增大的连接权重,即增大