Python 实现神经网络逆向传播算法（含详细注释）

参考资料：A Step by Step Backpropagation Example

这里有翻译版本：用笔一步步演示人工神经网络的反向传播算法

上面的链接给出了一个逆向传播算法的具体例子，一步一步地描述了该算法的执行过程，并且包含完整的数学推导过程，很适合入门者阅读。

根据这篇文章，我用python简单实现了逆向传播算法，由于接触python时间不长，代码可能存在很多需要改善的地方。

实现逆向传播的代码我只参考了这一篇文章，测试用的也是文章中的例子，如果代码中有不理解的部分，可以在文章中找到相应的概念或解释。

原文中也给出了python实现代码，比起作者的代码，我认为我写得更加直接和浅白，相当于原文的直接翻译，而且有附有大量注释。

代码：

neuralNetwork.py

# -*- coding: utf-8 -*- 
from numpy import random
from math import e
class neuron:
	def __init__(self, typeName, net = 0, out = None, sigma = None, value = None):
		self.typeName = typeName # 三种神经元，input output 和 hidden
		self.net = net # hidden和ouput神经元有此属性，为神经元的输入
		self.out = out # hidden和ouput神经元有此属性，为神经元的输出
		self.sigma = sigma # hidden和output神经元有此属性，用于backward propagation
		self.value = value # input和output神经元有此属性，保存用户输入值
class NeuralNetwork:
	def __init__(self, inputList, outputList, layerSizeLis