一:人工神经网络的通用框架包括以下几方面的内容:
1、功能函数f(从输入WX到输出y的函数):
1)简单线性模型
2)线性阈值单元
3)sigmoid函数
2、连接方式(各个神经元的组织方式)
1)前馈网络
2)反馈网络
3、学习规则(网络训练)
1)Hebb(无导师学习):如果Ui从Uj接收输入,且两者都是兴奋的,则它们之间的连接权Wij应该加强
2)Delta(有导师学习):
二:前馈网络及反向传播算法
1、前馈网络的结构(用来处理线性不可分问题):
2、误差反向传播算法(BP):如果网络的输出有错,则将网络的权值进行调整,使误差朝小的方向发展
1)功能函数:
2)连接方式:前馈网络
3)调整算法:
根据链导法则,有:
观察权值调整可知,第L层的权值调整与第L+1层的权值有关,由此形成了一个方向传播关系