多层网络和BP反向传播算法

神经元数学模型

一个具有R个输入的基本神经元如下图所示。每个输入都用适当的w加权，加权输入和偏置形成传递函数f的输入，神经元可以使用任何可微传递函数f生成输出。

 

多层网络通常使用log-sigmoid传递函数logsig。（还有其他激活函数，如relu函数）
当神经元的输入从负无穷到正无穷时，函数logsig产生0到1之间的输出 。

 

前馈网络

一个由R输入的S个logsig神经元组成的单层网络如下图所示，左边是完整的细节，右边是一个层图。