[深度学习-2.5] 梯度检验

实现神经网络的时候，如果不能确定反向传播计算梯度的时候有没有错误，这时候就可以进行梯度检验。简单来说梯度检验的目的就是检查程序反向传播部分有没有Bug。

数学分析

  首先来看导数的数学定义：
$$f^{\prime }\theta )=\underset{\epsilon \to 0}{\lim }\frac{f(\theta +\epsilon )-f(\theta -\epsilon )}{2\epsilon }\text{\hspace{1em}(1)}$$
以 $y={\theta }^3$ 为例。我们可以根据其导函数求得在 $\theta =1$ 时的导数值为 $f^{\prime }(\theta =1)=3{\theta }^2=3$。对于式(1)，如果我们不考虑求极限，可以得到在 $\theta =1$ 时的导数的近似值为(令 $\epsilon =0.001$，称下式为双边误差)
$$f^{\prime }\theta ){|}_{\theta =1}=\frac{f(1.01)-f(0.99)}{0.02}=3.0001\text{\hspace{1em}(2)}$$
可以看到，在计算正确的时候，由导函数计算出来的值应该是和双边误差计算出来的值非常接近的。

  具体到神经网络的梯度值。对于一个神经网络，假设它的所有权重和阈值参数为${\mathbf{W}}^{[1]},{\mathbf{b}}^{[1]},{\mathbf{W}}^{[2]},{\mathbf{b}}^{[2]},...,{\mathbf{W}}^{[L]},{\mathbf{W}}^{[L]}$，反向传播过程求得的梯度参数为$d{\mathbf{W}}^{[1]},d{\mathbf{b}}^{[1]},d{\mathbf{W}}^{[2]},d{\mathbf{b}}^{[2]},...,d{\mathbf{W}}^{[L]},d{\mathbf{W}}^{[L]}$。为了检验每一个参数 $w$ 的值，首先将他们所有的值分别转化为向量 $\theta$ 和 $d\theta$
$$\theta =[w_{11}^{[1]},w_{12}^{[1]},...,b_1^{[1]},b_1^{[2]},w_{11}^{[2]},w_{12}^{[2]},...,b_1^{[2]},b_2^{[2]},...,w_{11}^{[L]},w_{12}^{[L]},...,b_1^{[L]},b_2^{[L]}...]\text{\hspace{1em}(3)}$$

$$d\theta =[d{w}_{11}^{[1]},d{w}_{12}^{[1]},...,d{b}_1^{[1]},d{b}_1^{[2]},d{w}_{11}^{[2]},d{w}_{12}^{[2]},...,d{b}_1^{[2]},d{b}_2^{[2]},...,d{w}_{11}^{[L]},d{w}_{12}^{[L]},...,d{b}_1^{[L]},d{b}_2^{[L]}...]\text{\hspace{1em}(4)}$$

这样，对于第 $i$ 个元素，根据首先计算在当前位置的双边误差
$$d{\theta }_{\mathrm{a}\mathrm{p}\mathrm{p}\mathrm{r}\mathrm{o}\mathrm{x}}[i]=\frac{J\left({\theta }_1,{\theta }_2,\dots {\theta }_i+\epsilon ,\dots \right)-J\left({\theta }_1,{\theta }_2,\dots {\theta }_i-\epsilon ,\dots \right)}{2\epsilon }\text{\hspace{1em}(5)}$$
其中 $J$ 表示损失函数值。
  由前面的分析可以得到正确计算的情况下 $d{\theta }_{\mathrm{a}\mathrm{p}\mathrm{p}\mathrm{r}\mathrm{o}\mathrm{x}}[i]$ 应该是很接近损失函数在$\theta$ 处的偏导数 $d{\theta }_i=\frac{\partial J}{\partial {\theta }_i}$ 的值，这样在计算式(5)得到每一个 ${\theta }_i$ 的值之后，得到的 $d{\theta }_{\mathrm{a}\mathrm{p}\mathrm{p}\mathrm{r}\mathrm{o}\mathrm{x}}$ 应当是非常接近 $d\theta$ 的，我们通过以下式子来计算他们的误差
$$check\_error=\frac{||d{\theta }_{\mathrm{a}\mathrm{p}\mathrm{p}\mathrm{r}\mathrm{o}\mathrm{x}}-d\theta |{|}_2}{||d{\theta }_{\mathrm{a}\mathrm{p}\mathrm{p}\mathrm{r}\mathrm{o}\mathrm{x}}|{|}_2+||d\theta |{|}_2}\text{\hspace{1em}(6)}$$
其中 $||\cdot |{|}_2$ 表示向量的欧几里得范数。
一般来说，在 $\epsilon =1e-7$ 时，如果通过式(6)计算得到的结果小于 $1e-7$表明梯度计算是没有问题的。

注意

1. 梯度检验知识一个调试Bug的技巧，因此在训练过程是不使用梯度检验的；
2. 梯度检验的时候不要忘记正则化项；
3. 不要和dropout同时使用