BP神经网络基于Tensorflow的实现（代码注释详细）

BP(back propagation)神经网络是1986年由Rumelhart和McClelland为首的科学家提出的概念，是一种按照误差逆向传播算法训练的多层前馈神经网络，是目前应用最广泛的神经网络。

在一般的BP神经网络中，单个样本有m个输入和n个输出，在输入层和输出层之间还有若干个隐藏层h，实际上 1989年时就已经有人证明了一个万能逼近定理 ：

在任何闭区间的连续函数都可以用一个隐藏层的BP神经网络进行任意精度的逼近。

所以说一个三层的神经网络就可以实现一个任意从m维到n维的一个映射,这三层分别是 输入层、隐藏层、输出层 。

一般来说，在BP神经网络中，输入层和输出层的节点数目都是固定的，关键的就是在于隐藏层数目的选择，隐藏层数目的选择决定了神经网络工作的效果。

这里有一个选择隐藏层数目的经验公式：
- h 隐藏层
- m 输入层
- n 输出层
- a 调节常数数（一般介于1~10之间，如果数据多的话我们可以设a稍微大一点，而数据不是太多的时候就设置的小一点防止过拟合。）

BP神经网络的工作原理分为两个过程 ：
1. 工作信号正向传递子过程
2. 误差信号逆向传递过程

标准BP神经网络的缺陷：
（1）容易形成局部极小值而得不到