吴恩达机器学习（Machine Learning）课程总结笔记---Week5

0 概述

  第4周我们引入了神经网络，并给出了神经网络前向传播的计算方法。也就是完成了假设模型的 $h_{\theta }(x)$ 的定义，那么下一步就是对损失函数和优化方法的探究。
  本周，将要学习的反向传播算法，是神经网络独有的优化方法，在神经网络中占有至关重要的左右。

1. 课程大纲

2. 课程内容

  由于神经网络很复杂，在开始课程内容之前，我们先对神经网络参数符号进行约定如下：

训练集中有$m$个训练样本$\left\{\left(x^{(1)},y^{(1)}\right),\left(x^{(2)},y^{(2)}\right),\cdots ,\left(x^{(m)},y^{(m)}\right)\right\}$；
注意：神经元的每个节点，都是数值标量，这是神经网络的简化之处（个人观点）
$z_{ij}^{(j)}$：第 $j$ 层的第 $i$ 个节点（神经元）的“计算值”
$a_i^{(j)}$：第 $j$ 层的第 $i$ 个节点（神经元）的“激活值”
${\Theta }_{i,j}^{(l)}$：映射第 $l$ 层到第 $l+1$ 层的权值矩阵的第 $i$ 行第 $j$ 列的分量
$L$：神经网络总层数（包括输入层、隐层和输出层）
$S_l$：第$L$层的神经元数量（不包括手动加入的偏置$a_0^{(l)}$）；
$K$：输出层的神经元数目；
$h_{\theta }(x{)}_k$：第 $k$ 个预测输出结果
$x^{(i)}$：第 $i$ 个样本特征向量
$x_k^{(i)}$：第 $i$ 个样本的第 $k$ 个特征值
$y^{(i)}$：第 $i$ 个样本实际结果向量
$y_k^{(i)}$：第 $i$ 个样本结果向量的第 $k$ 个分量

2.1 神经网络损失函数的定义

  上周研究的是逻辑回归单元组成的神经网络，因此损失函数也沿袭logistic Regression进行定义。
逻辑回归的损失函数如下：
costFunction $=\mathrm{F}(\theta )=-\frac{1}{m}\left[{\sum }_{i=1}^m{y}^{(i)}\log h_{\theta }\left(x^{(i)}\right)+\left(1-y^{(i)}\right)\log \left(1-h_{\theta }\left(x^{(i)}\right)\right)\right]+\frac{\lambda }{2m}{\sum }_{j=1}^n{\theta }_j^2$
因此，神经网络的损失函数为：
$\begin{array}{rl}J(\Theta )=& -\frac{1}{m}\left[\sum _{i=1}^m\sum _{k=1}^K{y}_k^{(i)}\log {\left(h_{\Theta }\left(x^{(i)}\right)\right)}_k+\left(1-y_k^{(i)}\right)\log \left(1-{\left(h_{\Theta }\left(x^{(i)}\right)\right)}_k\right)\right]\\ & +\frac{\lambda }{2m}\sum _{l=1}^{L-1}\sum _{i=1}^{s_l}\sum _{j=1}^{s_{l+1}}{\left({\Theta }_{ji}^{(l)}\right)}^2\end{array}$
$h_{\Theta }(x)$ 是一个 K 维向量，对应了训练集每个样本的输出向量$y^{(i)}$；
$i$表示第$i$个训练样本，总共有$m$个；
正则项看起来很复杂，其实就是对系数矩阵$\Theta$的每一个元素进行正则化（没有偏置项系数）；

2.2 反向传播算法

  与梯度下降一样，反向传播算法最终也是要求损失函数对$\Theta$的偏导项，然后用偏导项对$\Theta$进行迭代更新。

2.2.1 计算偏导项的公式

  吴恩达并没有给出链式求导的方法，而是提供了一个结论，然后基于这个结论进行后续的求解过程。
$\frac{\partial }{\partial {\theta }_{i,j}^{(l)}}F(\Theta )=D_{i,j}^{(l)}:=\{\begin{array}{ll}\frac{1}{m}\left({\Delta }_{i,j}^{(l)}+\lambda {\Theta }_{i,j}^{(l)}\right)& j̸=0\\ \frac{1}{m}{\Delta }_{i,j}^{(l)}& j=0\end{array}$
其中，
${\Delta }_{i,j}^{(l)}:={\Delta }_{i,j}^{(l)}+a_j^{(l)}{\delta }_i^{(l+1)}$

$\begin{array}{rl}{\delta }_j^{(L)}& =a_j^{(L)}-y_j={\left(h_{\theta }(x)\right)}_j-y_j\end{array}$

${\delta }^{(l-1)}={\left({\Theta }^{(l-1)}\right)}^T{\delta }^{(l)}{\cdot }^{\ast }{g}^{\prime }\left(z^{(l)}\right)$

$g^{\prime }\left(z^{(l)}\right)=a^{(l)}{\cdot }^{\ast }\left(1-a^{(l)}\right)$
注意：${\delta }^{(1)}$不用求解，因为输入和实际的没有偏差。

2.2.2 求解过程

有一个训练集 $\left\{\begin{array}{c}(x^{(1)},y^{(1)}),(x^{(2)},y^{(2)}),\cdots ,(x^{(m)},y^{(m)})\end{array}\right\}$，初始化每一个 ${\Delta }_{i,j}^{(l)}:=0$ ，即初始矩阵是全零矩阵。
针对 $1-m$ 训练集开始以下步骤的训练：

STEP 1 ：前向传播
设$a^{(1)}=x$，按照前向传播计算每一层的$a^{(l)}。

STEP 2 :计算误差
利用$y^{(t)}$，计算${\delta }^{(L)}=a^{(L)}-y^t$。
其中 $L$ 是我们的总层数，$a^{(L)}$ 是最后一层激活单元输出的向量。所以我们最后一层的“误差值”仅仅是我们在最后一层的实际结果和 y 中的正确输出的差异。

STEP 3 : 反向传播
计算 ${\delta }^{(L-1)},{\delta }^{(L-2)},\cdots ,{\delta }^{(2)}$ ，得出每一层神经节点的误差，

${\delta }^{(l)}=(({\Theta }^{(l)}{)}^{(T)}{\delta }^{(l+1)}).\ast a^{(l)}.\ast (1-a^{(l)})$

STEP 4：计算偏导数
最后利用 ${\Delta }_{i,j}^{(l)}:={\Delta }_{i,j}^{(l)}+a_j^{(l)}{\delta }_i^{(l+1)}$，或者矢量表示为 ${\Delta }^{(l)}:={\Delta }^{(l)}+{\delta }^{(l+1)}(a^{(l)}{)}^T$。

$\frac{\partial }{\partial {\theta }_{i,j}^{(l)}}F(\Theta )=D_{i,j}^{(l)}:=\{\begin{array}{ll}\frac{1}{m}\left({\Delta }_{i,j}^{(l)}+\lambda {\Theta }_{i,j}^{(l)}\right)& j̸=0\\ \frac{1}{m}{\Delta }_{i,j}^{(l)}& j=0\end{array}$

STEP 5：更新$\Theta$
${\Theta }^{(l)}={\Theta }^{(l)}-\alpha D^{(l)}$
其中，$\alpha$为学习率。

以上流程不免产生两个问题：
(1) 为什么通过这种方式求解偏导数，原理是什么？
(2) 继续迭代，${\Delta }_{i,j}^{(l)}$是否每次迭代都初始化全0矩阵？
针对以上两个问题，需要进行数学推导，后续将专门写一篇文章讲解。

2.3 编程算法实现

2.3.1 参数展开

将参数矩阵展开成一个$n\ast 1$的向量，方便参数的传递。
具体操作，
假如 ${\Theta }_1,{\Theta }_2,{\Theta }_3$ 参数和 $D^{(1)},D^{(2)},D^{(3)}$ 参数，$\Theta 1$ 是 $10\ast 11$维，$\Theta 2$ 是 $10\ast 11$维，$\Theta 3$ 是 $1\ast 11$维。

% 打包成一个向量
thetaVector = [ Theta1(:); Theta2(:); Theta3(:); ]
deltaVector = [ D1(:); D2(:); D3(:) ]

% 解包还原
Theta1 = reshape(thetaVector(1:110),10,11)
Theta2 = reshape(thetaVector(111:220),10,11)
Theta3 = reshape(thetaVector(221:231),1,11)

其中，
reshape是一个将向量元素去除，并重新组成矩阵的函数。详见octave

为什么要进行参数展开？
为了利用梯度下降的优化算法，需要用到 fminunc 函数。其输入的参数是 $\theta$ 必须是向量，函数的返回值是代价函数 jVal 和导数值 gradient。

使用fminunc的步骤如下：
step 1：先将 ${\Theta }_1,{\Theta }_2,{\Theta }_3$ ,这些矩阵展开为一个长向量赋值给 initialTheta，然后作为theta参数的初始设置传入优化函数 fminunc。
step 2：再实现代价函数 costFunction。costFunction 函数将传入参数 thetaVec（就是刚才包含所有 $\Theta$ 参数的向量），然后通过 reshape 函数得到初始的矩阵，这样可以更方便地通过前向传播和反向传播以求得导数 $D^{(1)},D^{(2)},D^{(3)}$ 和代价函数 $F(\Theta )$ 。
step 3：最后按顺序展开得到 gradientVec，让它们保持和之前展开的 $\theta$ 值同样的顺序。以一个向量的形式返回这些导数值。

2.3.2 梯度检验

  理论上，在我们使用梯度下降的时候，$F(\Theta )$ 每次都会下降。但是由于反向传播的复杂性，可能导致计算过程存在bug，因此需要进行梯度检验，以减少错误的概率。
使用双侧差分算法，近似求解偏导数：

$\begin{array}{rl}\frac{\partial }{\partial {\theta }_1}J(\theta )& \approx \frac{J\left({\theta }_1+ϵ,{\theta }_2,{\theta }_3,\dots ,{\theta }_n\right)-J\left({\theta }_1-ϵ,{\theta }_2,{\theta }_3,\dots ,{\theta }_n\right)}{2ϵ}\\ \frac{\partial }{\partial {\theta }_2}J(\theta )& \approx \frac{J\left({\theta }_1,{\theta }_2+ϵ,{\theta }_3,\dots ,{\theta }_n\right)-J\left({\theta }_1,{\theta }_2-ϵ,{\theta }_3,\dots ,{\theta }_n\right)}{2ϵ}\\ \frac{\partial }{\partial {\theta }_n}J(\theta )& \approx \frac{J\left({\theta }_1,{\theta }_2,{\theta }_3,\dots ,{\theta }_n+ϵ\right)-J\left({\theta }_1,{\theta }_2,{\theta }_3,\dots ,{\theta }_n-ϵ\right)}{2ϵ}\end{array}$

注：为什么没有使用单侧差分？ 因为单侧差分计算出来的是左导数或者右导数，有可能不准确。

  检查反向传播计算出来的导数 DVec 约等于上面计算出来的近似偏导，则代表反向传播的实现是正确的。

总结一下：

1. 通过反向传播来计算偏导数DVec
2. 使用双侧差分计算近似偏导
3. 比较Dvec是否约等于近似偏导
4. 使用算法学习的时候记得要关闭这个梯度检验，梯度检验只在代码测试阶段进行。

2.3.3 随机初始化

  在进行反向传播之前，需要对$\Theta$进行初始化，求解前向传导。
为什么不能简单的将$\Theta$初始化为全0矩阵？

  如图所示，如果初始化位全0矩阵，则进行反向传播计算偏导时，对于所有${\Theta }_{ij}^{(l)}$的偏导是一样的。这就导致了在参数更新的情况下，两个参数是一样的。无论怎么重复计算其两边的激励还是一样的。
  上述问题被称为对称权重问题，也就是所有权重都是一样的。所以随机初始化是解决这个问题的方法。

  随机初始化，将初始化权值 ${\Theta }_{ij}^{(l)}$ 的范围限定在 $[-\Phi ,\Phi ]$ ，产生随机数，初始化权值矩阵。

%If the dimensions of Theta1 is 10x11, Theta2 is 10x11 and Theta3 is 1x11.

Theta1 = rand(10,11) * (2 * INIT_PHI) - INIT_PHI;
Theta2 = rand(10,11) * (2 * INIT_PHI) - INIT_PHI;
Theta3 = rand(1,11) * (2 * INIT_PHI) - INIT_PHI;

2.4 神经网络使用步骤总结

STEP 1：设计神经网络

1. 输入单元个数，是输入变量的$x^{(i)}$的维度。
2. 输出单元是分类的个数，比如有三类，则可能值 $y=\left[\begin{array}{l}1\\ 0\\ 0\end{array}\right]$ or $\left[\begin{array}{c}0\\ 1\\ 0\end{array}\right]$ or $\left[\begin{array}{c}0\\ 0\\ 1\end{array}\right]$
3. 隐层的单元数，理论上越多越好，但是考虑计算成本均衡问题。
4. 默认1个隐层，如果有多隐层，则建议每个隐层单元数相同

STEP 2 ：训练神经网络

1. 随机初始化权重。初始化的值是随机的，值很小，接近于零。
2. 执行前向传播算法，对于每一个 $x^{(i)}$ 计算出假设函数 $h_{\Theta }(x^{(i)})$ 。
3. 计算出代价函数 $F(\Theta )$ 。
4. 执行反向传播算法，计算出偏导数 $\frac{\partial }{\partial {\Theta }_{jk}^{(l)}}F(\Theta )$ 。
   具体求解步骤，参考2.2.2 反向传播求解过程一节
5. 利用梯度检查，对比反向传播算法计算得到的偏导数项是否与梯度检验算法计算出的导数项基本相等。
6. 后我们利用梯度下降算法或者更高级的算法例如 LBFGS、共轭梯度法等，结合之前算出的偏导数项，最小化代价函数 $F(\Theta )$ 算出权值的大小 $\Theta$ 。

  理想状态下 ，满足$h_{\Theta }\left(x^{(i)}\right)\approx y^{(i)}$，就认为代价函数最小了，由于代价函数 $F(\Theta )$ 是非凸的，因此我们最终可以用局部最小值代替全局最小值。

3. 课后编程作业

我将课后编程作业的参考答案上传到了github上，包括了octave版本和python版本，大家可参考使用。
https://github.com/GH-SUSAN/Machine-Learning-MarkDown/tree/master/week5

4. 总结

  本周学习了反向传播算法，这是神经网络训练目前最常用也最好用的方法，学习深刻理解和体会。
  这里留下了一个尾巴，就是为什么吴恩达没有用链式求导计算偏导数，而是采用以上误差传导方式，计算偏导，原理在哪里？我后边需要继续总结这个问题。
  学习了反向传播之后，对神经网络的整个应用和计算就闭环了，这是神经网络的起步，也是最重要的基石。未来深度学习，无非就是在此基础之上的组合和扩展。