吴恩达机器学习（六）—— 神经网络的学习

  神经网络是当下最强大的学习算法之一。接下来讨论一个能在给定训练集时为神经网络拟合参数的学习算法。

1. 代价函数

  神经网络在分类问题中的应用:

图1 神经网络模型

  首先引入一些标记方法：假设神经网络的训练样本有$m$个，每个包含一组输入$x$和一组输出$y$，$L$表示神经网络层数，$S_l$ 表示第$l$层的单元数即神经元的数量（不包含第$l$层的偏差单元）。
  在图1所示的神经网络模型中，$L=4$，$S_1=3$，$S_2=5$，$S_3=5$，$S_4=4$。
  神经网络的分类有两种情况：二元分类（Binary classification）和多类别分类（Multi-class classification）。

• 二元分类

  对于二元分类，神经网络只有一个输出单元，其输出值$y$不是0就是1，即$S_L=1$。

• 多类别分类

  对于多类别分类，神经网络有$K$个输出单元，即$S_L=K$。
  回想一下之前的Logistic回归中的代价函数为
$$J(\theta )=-\frac{1}{m}\left[\sum _{i=1}^m{y}^{(i)}\times log(h_{\theta }(x^{(i)}))+(1-y^{(i)})\times log(1-h_{\theta }(x^{(i)}))\right]+\frac{\lambda }{2m}\sum _{j=1}^n{\theta }_j^2$$

  在Logistic回归中，我们只有一个输出变量$y$，又称标量（scalar）；但是在神经网络中，我们可以有很多个输出变量，$h_{\theta }(x)$是一个维度为$K$的向量，因此神经网络的代价函数会比Logistic回归更加复杂一些。

  神经网络中的代价函数为：

$$J(\Theta )=-\frac{1}{m}\left[\sum _{i=1}^m\sum _{k=1}^k{y}_k^{(i)}\log {\left(h_{\Theta }\left(x^{(i)}\right)\right)}_k+\left(1-y_k^{(i)}\right)\log \left(1-{\left(h_{\Theta }\left(x^{(i)}\right)\right)}_k\right)\right]+\frac{\lambda }{2m}\sum _{l=1}^{L-1}\sum _{i=1}^{s_l}\sum _{j=1}^{s_l+1}{\left({\Theta }_{ji}^{(l)}\right)}^2$$

  其中，$h_{\theta }(x)\in R^K$ ，$(h_{\theta }(x){)}_k$表示第$k$个输出。正则化的那一项需要先排除每一层的 ${\theta }_0$ 后再对每一层的 $\theta$ 矩阵求和。最里层的循环$j$循环所有的行（由$S_l+1$层的激活单元数决定），循环$i$则循环所有的列（由$S_l$层的激活单元数所决定）。
  虽然神经网络的代价函数看起来复杂很多，但其背后的思想还是一样的，我们希望通过代价函数来观察算法预测的结果与真实情况的误差有多大。唯一不同的是，对于每一个样本的特征，基本上我们都可以利用循环对其预测出$K$个不同的结果，然后再在所有预测结果中选择可能性最高的一个，将其与$y$中的实际数据进行比较。

2. 反向传播算法

  之前在计算神经网络预测结果的时候我们采用了一种正向传播方法：从神经网络的第一层开始正向一层一层进行计算，直到最后一层。
  现在，为了计算代价函数的偏导数$\frac{\partial }{\partial {\Theta }_{ij}^{(l)}}J(\Theta )$，我们需要采用一种反向传播算法：首先计算最后一层的误差，然后再一层一层反向求出各层的误差，直到倒数第二层。

  通过图1 中的神经网络模型来说明反向传播算法。

  假设我们的训练集只有一个样本$(x^{(1)}，y^{(1)})$，我们的神经网络如上图所示是一个四层的神经网络，其中，$K=4$，$S_L=4$，$L=4$。

前向传播算法：
$$\begin{array}{rlr}{a}^{(1)}& =x& \\ z^{(2)}& ={\Theta }^{(1)}{a}^{(1)}& \\ a^{(2)}& =g\left(z^{(2)}\right)& \left(\text{ add }{a}_0^{(2)}\right)\\ z^{(3)}& ={\Theta }^{(2)}{a}^{(2)}& \\ a^{(3)}& =g\left(z^{(3)}\right)& \left(\text{ add }{a}_0^{(3)}\right)\\ z^{(4)}& ={\Theta }^{(3)}{a}^{(3)}& \\ a^{(4)}& =g\left(z^{(4)}\right)=h_{\Theta }(x)& \end{array}$$

反向传播算法：
  对于反向传播算法，首先我们定义第$l$层第$j$个结点激活单元的预测值与实际值之间的误差为${\delta }_j^{(l)}=a_j^{(l)}-y_j$，其中$a_j^{(l)}$代表第$l$层第$j$个结点的激活值。
  我们从最后一层的误差开始计算，可以得到
$${\delta }_j^{(4)}=a_j^{(4)}-y_j$$
  当${\delta }^{(4)}$、$a^{(4)}$、$y_j$均为维数相同的向量时，有${\delta }^{(4)}=a^{(4)}-y$。 我们利用这个误差值来计算前一层的误差：
$${\delta }^{(3)}=({\Theta }^{(3)}{)}^T{\delta }^{(4)}\cdot g^{{}^{\prime }}(z^{(3)})$$
  其中，$g^{{}^{\prime }}(z^{(3)})$是$S$形函数的导数，$g^{{}^{\prime }}(z^{(3)})=a^{(3)}\cdot (1-a^{(3)})$，而$({\Theta }^{(3)}{)}^T{\delta }^{(4)}$则是权重导致的误差的和。接下来继续计算第二层的误差：

$${\delta }^{(2)}=({\Theta }^{(2)}{)}^T{\delta }^{(3)}\cdot g^{{}^{\prime }}(z^{(2)})$$
  因为第一层是输入变量，不存在误差，所以在我们有了所有误差的表达式后，便可以计算代价函数的偏导数了。

  假设$\lambda =0$，即我们不做任何正则化处理时有：
$$\frac{\partial }{\partial {\Theta }_{ij}^{(l)}}J(\Theta )=a_j^{(l)}{\delta }_i^{(l+1)}$$
  其中，$l$代表目前所计算的是第几层；$j$代表目前计算层中的激活单元的下标，也将是下一层的第$j$个输入变量的下标； $i$代表下一层中误差单元的下标，是受到权重矩阵中第$i$行影响的下一层中的误差单元的下标。

  如果我们考虑正则化处理，并且我们的训练集是一个特征矩阵而非向量，则我们需要为整个训练集计算误差单元，此时的误差单元是一个矩阵，我们用${\Delta }_{ij}^{(l)}$来表示这个误差矩阵，${\Delta }_{ij}^{(l)}$表示第$l$层的第$i$个激活单元受到第$j$个参数影响而导致的误差。

反向传播算法可以表示如下：

  即首先运用正向传播方法计算出每一层的激活单元，利用训练集的实际值与神经网络预测的结果求出最后一层的误差，然后利用该误差运用反向传播法计算出直至第二层的所有误差。在求出${\Delta }_{ij}^{(l)}$之后，我们便可以计算代价函数的偏导数$\frac{\partial }{\partial {\Theta }_{ij}^{(l)}}J(\Theta )=D_{ij}^{(l)}$ 了，计算方法如下：

3. 反向传播算法的直观理解

图2 神经网络模型

  如图2所示的神经网络模型中，对于某一个输入样本，我们首先根据前向传播算法计算出所有的$z_j^{(l)}$和$a_j^{(l)}$，例如$z_1^{(3)}={\Theta }_{10}^{(2)}\times 1+{\Theta }_{11}^{(2)}{a}_1^{(2)}+{\Theta }_{12}^{(2)}{a}_2^{(2)}$。然后再根据反向传播算法计算出所有的误差项${\delta }_j^{(l)}$，例如${\delta }_2^{(2)}={\Theta }_{12}^{(2)}{\delta }_1^{(3)}+{\Theta }_{22}^{(2)}{\delta }_2^{(3)}$。
  反向传播算法这个名字源于我们从输出层开始计算$\delta$项，根据${\delta }^{(4)}$的值返回到上一层计算${\delta }^{(3)}$ ，接着我们再往前一步计算${\delta }^{(2)}$ ，所以说我们是类似于把输出层的误差反向传播给了第3层，然后再传到第2层，这就是反向传播的意思。

4. 实现注意：展开参数

  一个实现过程中的细节：怎样把我们的参数从矩阵展开成向量，以便我们在高级优化步骤中的使用。

优化算法：

function  [jVal, gradient]=costFunction(theta)
... ...
optTheta=fminunc(@costFunction, initialTheta, options)

  假设有一个4层的神经网络如图3所示，$S_1=10$，$S_2=10$，$S_3=10$， $S_4=1$，则有参数矩阵${\Theta }^{(1)}\in R^{10\times 11}$ ，${\Theta }^{(2)}\in R^{10\times 11}$，${\Theta }^{(3)}\in R^{1\times 11}$；梯度矩阵$D^{(1)}\in R^{10\times 11}$，$D^{(2)}\in R^{10\times 11}$，$D^{(3)}\in R^{1\times 11}$。

图3 一个4层的神经网络模型

在MATLAB中用于矩阵和向量之间来回转化的代码如下：

• 矩阵转化为向量

thetaVec = [Theta1( : ); Theta2( : ); Theta3( : )];
DVec = [D1( : ); D2( : ); D3( : )];

• 向量转化为矩阵

Theta1 = reshape(thetaVec(1:110), 10, 11);
Theta2 = reshape(thetaVec(111:220), 10, 11);
Theta1 = reshape(thetaVec(221:231), 1, 11);

学习算法：
  首先初始化参数${\Theta }^{(1)}$、${\Theta }^{(2)}$、${\Theta }^{(3)}$，展开后可以得到初始化向量initialTheta并传入$fminunc(@costFunction,{}_{}initialTheta,{}_{}options)$中。其次在函数$function{}_{}[jVal,{}_{}gradientVec]=costFunction(thetaVec)$中，根据$thetaVec$我们可以得到${\Theta }^{(1)}$、${\Theta }^{(2)}$、${\Theta }^{(3)}$；然后使用反向传播算法计算$D^{(1)}$、$D^{(2)}$、$D^{(3)}$和$J(\Theta )$；展开$D^{(1)}$、$D^{(2)}$、$D^{(3)}$可以得到gradientVec。

5. 梯度下降

  当我们对一个较为复杂的模型（例如神经网络）使用梯度下降算法时，可能会存在一些不容易察觉的错误。这意味着虽然代价看上去在不断减小，但最终的结果可能并不是最优解。
  为了避免这样的问题，我们采取一种叫做梯度的数值检验（Numerical Gradient Checking）方法。这种方法的思想是通过估计梯度值来检验我们计算的导数值是否真的是我们所要求的。

图4 梯度的数值检验

  对梯度的估计采用的方法是在代价函数上沿着切线的方向选择两个离$\theta$非常近的点，然后计算两个点的平均值用以估计梯度。如图4所示，对于某个特定的$\theta$，我们计算出在$\theta -\epsilon$处和$\theta +\epsilon$处的代价值$J(\theta -\epsilon )$和$J(\theta +\epsilon )$（$\epsilon$是一个非常小的值，通常选取 0.001），然后求出两个代价的平均值用以估计在$\theta$处的代价值，有$\frac{d}{d\theta }J(\theta )\approx \frac{J(\theta +\epsilon )-J(\theta -\epsilon )}{2\epsilon }$，我们需要对所有的偏导数项进行检验。

在MATLAB中，用如下方法实现导数的估算：

  其中，$gradApprox$为用上述方法得到的导数，$DVe$为在反向传播中得到的导数。如果两种方法得到的导数是一样的或者非常接近（只有几位小数的差距），则可以确信反向传播的实现是正确的。

总结一下如何实现数值上的梯度检验：

• 通过反向传播计算$DVec$；
• 实现数值上的梯度检验，计算出$gradApprox$；
• 确保$DVec$和$gradApprox$能得出相似的值；
• 在使用代码进行学习或者训练网络之前，重要的是关掉梯度检验，不要计算$gradApprox$。（因为梯度检验的代码是一个计算量非常大、也非常慢的计算导数的程序，相对来说反向传播算法则是一个高性能的计算导数的方法，所以一旦通过梯度检验确定反向传播的实现是正确的，就应该关掉梯度检验，不再去使用它。）

6. 随机初始化

  任何优化算法都需要一些初始化的参数。到目前为止我们都是初始化所有参数为0，这样的初始化方法对于Logistic回归来说是可行的，但是对于神经网络来说是不可行的。如果我们令所有的初始化参数都为0，这将意味着我们第二层的所有激活单元都会有相同的值。同理，如果我们将所有的参数都初始化为同一个非0的数，结果也是一样的。

图5 神经网络模型

  在图5所示的神经网络模型中，如果对于所有的$i$,$j$,$l$都有${\Theta }_{ij}^{(l)}=0$，则$a_1^{(2)}=a_2^{(2)}$，${\delta }_1^{(2)}={\delta }_2^{(2)}$ $\Rightarrow$ $\frac{\partial }{\partial {\Theta }_{01}^{(1)}}J(\Theta )=\frac{\partial }{\partial {\Theta }_{02}^{(1)}}J(\Theta )$。所以每次更新之后，这两个隐藏单元的每个参数输入都是相等的，意味着即使梯度下降进行了一次迭代，但这两个隐藏单元依然以相同的函数作为输入来计算。这是一种高度冗余的现象，最后的Logistic单元只能得到一个特征，因为所有单元都一样，这阻止了神经网络去学习任何有趣的东西。
  所以为了解决上述问题，在神经网络中我们要将所有参数进行随机初始化，而不是全部置为0。随机初始化参数的目的是使对称失效（Symmetry breaking）。
  我们通常初始化参数为正负$\epsilon$之间的随机值。假设我们要随机初始化一个尺寸为10×11的参数矩阵，MATLAB代码为Theta1 = rand(10, 11) * (2*INIT_EPSILON) – INIT_EPSILON。
  所以为了训练神经网络，我们应该首先将权重随机初始化为一个接近0、范围在$-\epsilon$到$\epsilon$之间的数，然后进行反向传播，再进行梯度检验，最后使用梯度下降或者其他高级优化算法来最小化代价函数$J(\Theta )$。

7. 综合起来

训练神经网络前我们需要做的：

• 选择一种网络架构：架构是指神经元之间的连接模式；
• 选择输入单元和输出单元的数量：输入单元的数量为特征的维度，输出单元的数量为类别个数；
• 选择隐藏单元的数量：合理的默认选项为单个隐藏层或者不止一个隐藏层，但通常都应有相同的单元数。如果有大量隐藏单元，计算量一般会比较大，但一般来说隐藏单元还是越多越好。并且一般来说每个隐藏层所包含的单元数量还应和输入x的维度相匹配，即和特征数量相匹配，隐藏单元的数量可以和输入特征数量相同，或者是它的二倍、三倍或四倍。因此，隐藏单元的数量和输入特征数相区配或者比特征数大几倍都是有效的。

训练神经网络的步骤：

• 随机初始化权重；
• 执行前向传播算法，对于该神经网络任意一个输入$x^{(i)}$，计算出对应的$h_{\Theta }(x^{(i)})$；
• 通过代码计算出代价函数$J(\Theta )$；
• 执行反向传播算法来计算出这些偏导数项$\frac{\partial }{\partial {\Theta }_{ij}^{(l)}}J(\Theta )$；
  使用梯度检验来比较这些已经计算得到的偏导数项，把用反向传播得到的偏导数项值与用数值方法得到的估计值进行比较，然后停用梯度检验代码；
• 使用一个最优化算法，例如梯度下降算法或者更加高级的优化算法，将这些优化算法和反向传播算法相结合来最小化代价函数$J(\Theta )$。

  对于神经网络来说，代价函数$J(\Theta )$是一个非凸函数，因此理论上可能停留在局部最小值的位置。代价函数$J(\Theta )$度量的就是这个神经网络对训练数据的拟合情况。反向传播算法能够让更复杂、强大、非线性的函数模型跟我们的数据很好的拟合。

8. 自动驾驶

  一个有趣并具有历史意义的神经网络学习例子：使用神经网络来实现自动驾驶。
  ALVINN (Autonomous Land Vehicle In a Neural Network)是一个基于神经网络的智能系统，通过观察人类的驾驶来学习驾驶。ALVINN能够控制NavLab，装在一辆改装版军用悍马上，这辆悍马装载了传感器、计算机和驱动器用来进行自动驾驶的导航试验。

  实现ALVINN功能的第一步是对它进行训练，让一个人驾驶汽车，然后让ALVINN观看，ALVINN每两秒将前方的路况图生成一张数字化图片，并且记录驾驶者的驾驶方向，得到的训练集图片被压缩为$30\times 32$像素，并且作为输入提供给ALVINN的三层神经网络。通过使用反向传播学习算法，ALVINN会训练得到一个与人类驾驶员操纵方向基本相近的结果。
  一开始，我们的网络选择出的方向是随机的，大约经过两分钟的训练后，我们的神经网络便能够准确地模拟人类驾驶者的驾驶方向，对其他道路类型也能重复进行这个训练过程。当网络被训练完成后，操作者就可按下运行按钮，车辆便开始行驶了。
  每秒钟ALVINN生成12次数字化图片，并且将图像传送给神经网络进行训练，多个神经网络同时工作，每一个网络都生成一个行驶方向以及一个预测置信度的参数，预测置信度最高的那个神经网络得到的行驶方向将最终用于控制车辆方向。这就是基于神经网络的自动驾驶技术。