人工神经元网络

一：人工神经网络的通用框架包括以下几方面的内容：

1、功能函数f(从输入WX到输出y的函数)：

         1）简单线性模型

      2）线性阈值单元

      3）sigmoid函数

2、连接方式（各个神经元的组织方式）

      1）前馈网络

      2）反馈网络

3、学习规则（网络训练）

      1）Hebb（无导师学习）：如果Ui从Uj接收输入，且两者都是兴奋的，则它们之间的连接权Wij应该加强

                                                                                            

      2）Delta（有导师学习）：

                                       

二：前馈网络及反向传播算法

1、前馈网络的结构（用来处理线性不可分问题）：

                                                            

2、误差反向传播算法（BP）：如果网络的输出有错，则将网络的权值进行调整，使误差朝小的方向发展

      1）功能函数：

                                                                                                    

         2）连接方式：前馈网络

      3）调整算法：

                                

                         

                          根据链导法则，有：

                                         

观察权值调整可知，第L层的权值调整与第L+1层的权值有关，由此形成了一个方向传播关系