#DeepLearningBook#算法概览之一

Chapter 6
Algorithm 6.1 （forward propagation）
描述神经网络图中，输入是如何映射到输出的。

第一个for循环：
完成第一个到第ni个变量赋值给u对应节点的过程；
第二个for循环：
A(i)代表着u(i)节点对应的父节点的集合；
这个循环将f(i)这个方法作用到了A(i)这个父节点的集合上，进而生成了子节点u(i)。

Algorithm 6.2
backprop求导过程的简要版本

这个算法在求导的基础上引入了链式法则（Chain rule），使得子节点求导的结果可以供其父节点调用，进而节省计算开支。
另外，这个求导过程是起始于终点，逐步向起点推的。因此是对应于forward的backward。最后计算的结果存储在grad_table这个结构体中。

Algorithm 6.3

Algorithm6.1的基础上加了cost function计算的forward propagation。

Algorithm 6.4
这里是从output layer逐步往前推，求得每层对应参数的导数。根据这些导数对参数进行修正可以降低最后输出的误差。