免费的AI经典教材！神经网络和深度学习 第二章（迈克尔·尼尔逊）

Neural networks and deep learning

神经网络和深度学习

Michael Nielsen/Jun 2019
迈克尔 尼尔逊/更新至2019年6月

---

Chapters

章节

• 1 using neural nets to recognize handwtritten digits 用神经网识别手写数字
• 2 how the back propagation works 后向传播算法工作原理
• 3 improving the way neural networks learn 改进神经网络的学习方式
• 4 a visual proof that neoral nets can compute any function 神经网能计算任何函数的可视化依据
• 5 why are neural networks hard to train 神经网络为什么难以训练
• 6 deep leaning 深度学习

---

第二章 后向传播算法原理

上一章，我们知道了神经网络可以使用梯度下降算法来学习他们的权值（weight）和阈值（bias）。然而，在我们的解释中，还有一个空白：我们没有讨论如何计算成本函数（cost function）的梯度（gradient）。在本章中，我会介绍一个计算梯度的快速算法，也就是后向传播算法（backpropagation）。

后向传播算法最初是在上世纪70年代提出来的，但是直到David Rumelhart，Geoffrey Hinton和Ronald Williams发表了一篇著名的论文，后向传播算法才被人们重视起来。那篇著名的论文描述了几个神经网络，其中使用的后向传播算法要比在那之前的学习算法都要快，让之前被认为不可能被解决的问题得到了解决的可能。今天，后向传播算法已然成为神经网络中的主要角色。
这一章比本书中的其他各个章节都包含更多的数学。如果你对数学不是很狂热，你可能会想着跳过这一章，把后向传播算法当成细节忽略不计的黑盒子来使用。你可能要问了，为什么要花时间学习这些细节呢？
原因很自然就是理解。
后向传播算法的核心是一个表达式，成本函数C关于任何权值w（或者阈值b）的偏微分表达式
$$\frac{\partial C}{\partial w}$$
这个表达式告诉我们，当我们改变权值和阈值的时候成本变化的快慢。
尽管这个表达式有一些复杂，但是它也有它的美丽之处，每一个元素都有自然的、启发性的解释。所，后向传播算法并不仅仅是一个学习的快速算法，实际上，它为我们揭示了改变权值和阈值是如何影响神经网络的整体表现的。因此，后向传播算法值得我们好好学习它的细节。

热身：一个计算神经网络输出的基于矩阵理论的快速方法

在讨论后向传播算法之前，让我们从一个基于矩阵理论的计算神经网络输出的快速算法热身。
让我们用一个清楚的方式认识网络中的权值的记号：
$$w_{jk}^l$$
这个记号表示$(l-1{)}^{th}$层的$k^{th}$神经元到$l^{th}$层的$j^{th}$神经元的连接。所以，如下图所示，$w_{24}^3$代表了第二层的第四个神经元到第三层的第二个神经元的连接。

这种记号开始看起来是笨重的，需要花时间掌握。但是，稍加理解你就会发现这种记号是很简单和自然的。
TIPS：其实很好理解，右上角的数字代表连接箭头指向的那一层神经元的层数，自然，该链接是由上一层指向过来的，所以一个层数就表示了两个层；右下角的两个数字，前一个表示箭头指向的层的神经元序号，后一个表示上一层的神经元序号；总而言就是用三个数字表示了两层的两个神经元位置。
我们用相类似的记号来表示网络中的阈值（bias）和激活（activations），$b_j^l$代表$l^{th}$层的$j^{th}$个神经元的阈值（bias）（也就是右上角始终代表层数，右下角始终代表神经元序号数），$a_j^l$代表$l^{th}$层的$j^{th}$个激活函数，如下图所示：

有了这些记号，$l^{th}$层的$j^{th}$个激活函数$a_j^l$和$(l-1{)}^{th}$层就用下面的等式连接起来：
$$a_j^l=\delta (\sum _k{w}_{jk}^l{a}_k^{l-1}+b_j^l),\text{\hspace{1em}(23)}$$
上式的求和是对$(l-1{)}^{th}$层的所有神经元进行求和。为了用矩阵的形式对上面的表达式进行重写，我们为每一层定义一个权值矩阵$w^l$。这个权值矩阵的元素们就是和$l^{th}$层神经元相连接的权值，也就是说，矩阵中的$j^{th}$行、$k^{th}$列元素就是$w_{jk}^l$。相类似的，我们为每一层定义一个阈值（bias）向量$b^l$。你大概也能猜到这是如何工作的了，阈值向量中的元素就是$l^{th}$层中的每个神经元的阈值，同样的道理，我们还可以定义激活函数向量$a^l$。
我们需要重写式（23）的最后一个要素就是把诸如δ这样的函数向量化。
我们使用显而易见的记号$\delta (v)$来表示这类元素化的函数。也就是说，$\delta (v{)}_j=\delta (v_j)$。举个栗子，如果我们假设$f(x)=x^2$，那么函数f的向量化形式如下：

$$f\left(\left[\begin{array}{c}2\\ 3\end{array}\right]\right)=\left[\begin{array}{c}f(2)\\ f(3)\end{array}\right]=\left[\begin{array}{c}4\\ 9\end{array}\right]\text{\hspace{1em}(24)}$$
也就是说，向量化的函数$f$把向量中的每个元素都平方了。
记住这些记号，等式（23）可以用美丽的、紧凑的向量化方式重写如下：
$$a^l=\delta (w^l{a}^{l-1}+b^l)$$
这个表达式为我们提供了一个整体的方法来想明白网络中的一层是如何与前一层的激活函数联系起来的，正如上式所示。
这个整体的观点通常是比我们前面提到的一个接一个的神经元的形式更简单和简洁的，并且角标更少了！我们可以把它当做一种躲避角标的方式，但是并不影响它把事情表述清楚。这个表达式在实际使用中仍然是有用的，因为大多数的矩阵函数库提供了快速计算矩阵乘法、向量相加、向量化等等。实际上，上一章的代码在计算网络的各种行为上并没有提供清楚的表达。
当我们使用等式（25）来计算$a^l$，我们计算中间量$z^l\equiv w^l{a}^{l-1}+b^l$。你会发现这个中间量在后面变的非常有用，我们称其为l层的神经元的加权输入（weighted input），后面我们将会大量使用加权输入$z^l$。等式（25）有时候根据加权输入来表示$a^l=\delta (z^l)$。

关于成本函数，我们需要知道的两个假设

后向传播算法的目的是计算网络中的成本函数的偏微分$\frac{\partial C}{\partial w}$和$\frac{\partial C}{\partial b}$。对于后向传播函数工作，我们需要关于成本函数的形式作出两个主要的假设。
在开始陈述这两个假设之前，我们事先认识一个示例成本函数很有必要。我们使用最后一章的二次项成本函数：
$$C=\frac{1}{2n}\sum _x||y(x)-a^L(x)|{|}^2\text{\hspace{1em}(26)}$$
其中：n是训练实例的总数量，求和操作是对每个训练实例x有效的；$y=y(x)$是对应的输出；L代表网络中的神经层数目；$a^L=a^L(x)$是当x为输入的时候网络输出的激活函数向量。
好了，我们需要关于我们的成本函数做出什么假设使得后向传播算法足以被应用？
我们需要的第一个假设是成本函数可以对每一个训练实例$x$关于成本函数$C_x$写成平均值的形式：$C=\frac{1}{n}{\sum }_x{C}_x$
这是二次项成本函数的形式，对于每一个训练实例$x$的成本函数是$C_x=\frac{1}{2}||y-a^L|{|}^2$，这个假设对于所有的其他成本函数都是成立的。
事实上，知道了这个假设，我们认为训练实例$x$是固定的，加上角标$x$，就用$C_x$代替了$C$。
第二个假设是成本函数可以被重写为神经网络的一个输出函数。

比方说，二次项函数满足上面的要求，因为一个单独的训练实例的二次成本可以写成：
$$C=\frac{1}{2}||y-a^L|{|}^2=\frac{1}{2}\sum _j(y_j-a_j^L{)}^2\text{\hspace{1em}(27)}$$
因此上式就是输出激活函数的一个函数。当然，这个成本函数同样依赖于我们想要得到的输出$y$，你可能会好奇我们为什么不把成本也当成一个函数$y$。请记住，输入的训练实例$x$是固定的，所以输出$y$也是一个固定的参数，并且这不是我们可以通过改变权值和阈值改变的，也就是说，这不是神经网络能学习的。

Hadamard product 哈达玛乘积

$s\odot t$

后向传播算法是基于普通的线性代数运算的，比如说向量相加，矩阵和向量相乘，等等。但是有一个操作是不经常使用的。尤其是当$s$和$t$是
未完待续，持续翻译中，敬请期待^ _ ^