DNN的BP算法Python简单实现

DNN的BP算法Python简单实现

BP算法是神经网络的基础，也是最重要的部分。由于误差反向传播的过程中，可能会出现梯度消失或者爆炸，所以需要调整损失函数。在LSTM中，通过sigmoid来实现三个门来解决记忆问题，用tensorflow实现的过程中，需要进行梯度修剪操作，以防止梯度爆炸。RNN的BPTT算法同样存在着这样的问题，所以步数超过5步以后，记忆效果大大下降。LSTM的效果能够支持到30多步数，太长了也不行。如果要求更长的记忆，或者考虑更多的上下文，可以把多个句子的LSTM输出组合起来作为另一个LSTM的输入。下面上传用Python实现的普通DNN的BP算法，激活为sigmoid.

字迹有些潦草，凑合用吧，习惯了手动绘图，个人习惯。后面的代码实现思路是最重要的：每个层有多个节点，层与层之间单向链接（前馈网络），因此数据结构可以设计为单向链表。实现的过程属于典型的递归，递归调用到最后一层后把每一层的back_weights反馈给上一层，直到推导结束。上传代码(未经过优化的代码)：

测试代码：

import numpy as np
import NeuralNetWork as nw

if __name__ == '__main__':
print("test neural network")

 data = np.array([[1, 0, 0, 0, 0, 0, 0, 0],
 [0, 1, 0, 0, 0, 0, 0, 0],
 [0, 0, 1, 0, 0, 0, 0, 0],
 [0, 0, 0, 1, 0, 0, 0, 0],
 [0, 0, 0, 0, 1, 0, 0, 0],