python神经网络编程

神经网络如何工作

思路

多层神经网络，每一层中的神经元都与前后层的神经元互相连接，不采用创造性的方式将神经元连接起来，原因有两点：

1. 第一是这种一致的完全连接方式事实上可以相对容易地编码成计算机指令；
2. 第二是神经网络的学习过程将会弱化这些实际上不需要的连接（也就是这些连接的权重将趋于0），因此对于解决特定任务所需最小数量的连接冗余几个连接，也无伤大雅。

方法

使用矩阵乘法来进行神经网络的计算：

1. 通过神经网络向前馈送信号所需的大量运算可以表示为矩阵乘法；
2. 不管神经网络的规模如何，将输入输出表达为矩阵乘法，使得我们可以更简洁的进行书写；
3. 更重要的是，一些计算机编程语言理解矩阵运算，并认识潜在的计算方法的相似性。并允许计算机高速高效地进行这些计算。

计算过程

以3层神经网络为例：
$$输入层到隐藏层：X_{hidden}=W_{input-hidden}.I$$
$$隐藏层输出矩阵：O_{hidden}=sigmoid(X_{hidden})$$
$$输出层的组合调节输入信号：X_{output}=W_{hidden-output}.O_{hidden}$$
$$输出信号：O_{output}=sigmoid(X_{output})$$

下一步，将神经网络的输出值与训练样本中的输出值进行比较，计算出误差。我们需要利用这个误差值来调整神经网络本身，进而改进神经网络的输出值。

多个输出节点反向传播误差

1. 将输出误差标记为$e_{output}$，将在输出层和隐藏层之间的链接权重标记为$w_{ho}$。通过将误差值按权重的比利进行分割，我们计算出与每条链接相关的特定误差值。将与隐藏层节点相关联的这些误差标记为$e_{hidden}$，再次将这些误差按照输入层和隐藏层之间的链接权重$w_{ih}$进行分割。
   
2. 但是，对于隐藏层的节点，我们没有目标值或希望的输出值。我们只有最终输出层节点的目标值，这个目标值来自于训练样本数据。
   实际上，我们可以重组这两个链接的误差，形成这个节点的误差(可以理解为过程中误差)，如下图所示：
   
   $e_{hidden,1}$ = 链接$w_{1,1}$和链接$w_{1,2}$上的分割误差之和
   = $e_{output,1}\ast \frac{w_{1,1}}{w_{1,1}+w_{2,1}}$ + e o u t p u t , 2 ∗ w 1 , 2 w 1 , 2 + w 2 , 2 e_{output,2} * \frac{w_{1,2}}{w_{1,2} + w_{2,2}} eoutput,2​∗w1,2​+w