BP 神经网络算法识别MNIST数据集

BP 神经网络算法识别MNIST手写数字数据集

人工神经网络的基本原理

生物神经元在结构上由:

1. 细胞体(Cell body)
2. 树突(Dendrite)
3. 轴突(Axon)
4. 突触(Synapse)

四部分组成。用来完成神经元间信息的接收、传递和处理。

神经元及其突触是神经网络的基本器件。因此，模拟生物神经网络应首先模拟生物神经元, 人工神经元(节点)从三个方面进行模拟:

1. 节点本身的信息处理能力
2. 节点与节点之间连接(拓扑结构)
3. 相互连接的强度(通过学习来调整)

神经元模型

一般地，将形式神经元模型表示为下图所示的一个具有多输入-单输出的非线性阈值器件。

$x_1,x_2,\dots ,x_n$表示某一神经元的第n个输入; $W_{ij}$表示第$i$个神经元与第$j$个神经元的突触连接强度，其称为权值。神经元模型将这些输入加权后经激励函数$f$输出。
$$A_j=\sum _{j=1}^n{x}_i{W}_{ij}-{\Theta }_j$$
$$O_j=f(A_j)$$

几个常见的神经元模型

1. 阈值型
   该类型的神经元具有一个设定的阈值，是一种最简单的神经元，当加权后的输入大于阈值时，输出为1，否则为0。
   激励函数一般表示为：
   $$y_i=f(A_i)=\{\begin{array}{l}1,A_i>{\Theta }_i\\ \\ 0,A_i\le {\Theta }_i\end{array}$$
   对于阈值型神经元, 其输入权值$W_{ij}$可在$(-1,+1)$区间连续取值。负值表示抑制，正值表示加强。
2. 线性饱和型
   线性饱和型神经元在一定区间内，输入输出满足线性关系。激励函数为：
   $$y_i=f(A_i)=\{\begin{array}{l}0,A_i<0\\ \\ C{A}_i,0\le A_i\le A_c\\ \\ 1,A_i>A_c\end{array}$$
   $C$为常量
3. S(sigmoid)型
   S型神经元是一类连续型神经元模型，采用S型函数(sigmoid 函数)。其激励函数为：
   $$y_i=f(A_i)=1/(1+e^{A_i})$$
   或
   y i = f ( A i ) = 1 / (