深度学习的实用层面 —— 1.12 梯度的数值逼近

在实施backprop的时候，有一个测试叫做梯度检验，它的作用是确保backprop正确实施。因为有时候，虽然写下了这些方程式，却不能100%确定，执行backprop的所有细节都是正确的。为了逐渐实现梯度检验，我们首先说说如何对计算梯度做数值逼近。

我们首先画出函数f，标记为$f(\theta )$，$f(\theta )={\theta }^3$，假设$\theta =1$。不增大$\theta$的值，而是在$\theta$右侧设置一个$\theta +\epsilon$，在$\theta$左侧设置一个$\theta -\epsilon$，因此$\theta =1$，$\theta +\epsilon =1.01$，$\theta -\epsilon =0.99$。

在函数图中画一个三角形，计算高和宽的比值，就是更准确的坡度预估。

选择f函数在$\theta -\epsilon$上的这个点，用大三角形的高比上宽，较大三角形的高宽比值更接近于$\theta$的导数，把右上角的小三角形下移，好像有了两个三角形，右上角一个，左下角一个。我们通过这个绿色大三角形同时考虑了这两个小三角形，所以我们得到的不是一个单边公差而是一个双边公差。

写一下计算公式，$\theta +\epsilon$这个点对应的函数值为$f(\theta +\epsilon )$，$\theta -\epsilon$这个点对应的函数值为$f(\theta -\epsilon )$，这个三角形的高度是$f(\theta +\epsilon )-f(\theta -\epsilon )$，三角形的宽度为$2\epsilon$，高宽比值为$$\frac{f(\theta +\epsilon )-f(\theta -\epsilon )}{2\epsilon }$$它的期望值接近$g(\theta )$。

传入参数值$f(\theta )={\theta }^3$，$\theta +\epsilon =1.01$，$\frac{1.01^3-0.99^3}{2\ast 0.01}=3.0001$，而$g(\theta )=3{\theta }^2=3$，所以这两个$g(\theta )$值非常接近，逼近误差为0.0001.

只考虑单边公差，即从$\theta$到$\theta +\epsilon$之间的误差，$g(\theta )$的值为3.0301，逼近误差是0.03而不是0.0001，所以使用双边误差的方法更逼近导数，其结果接近3。在梯度检验和反向传播中使用该方法时，最终它与运行两次单边公差的速度一样。

导数的官方定义是针对值很小的$\epsilon$：$$f^{\prime }(\theta )=\underset{\epsilon \to 0}{\lim }\frac{f(\theta +\epsilon )-f(\theta -\epsilon )}{2\epsilon }$$对于一个非零的$\epsilon$，它的逼近误差可以写成$O({\epsilon }^2)$，$\epsilon$的值非常小。如果$\epsilon =0.01$，${\epsilon }^2=0.0001$，大写符号O的含义是指逼近误差其实是一些常量乘于${\epsilon }^2$，但它的确是很准确的逼近误差，所以大写O的常量有时是1,。

然而如果我们用另外一个公式$$\frac{f(\theta +\epsilon )-f(\theta )}{\epsilon }$$逼近误差就是$\epsilon$，当$\epsilon$小于1时，实际上$\epsilon$比${\epsilon }^2$大很多，所以这个公式的近似值没有上面公式准确。所以在执行梯度检验时，我们使用双边误差，即$$\frac{f(\theta +\epsilon )-f(\theta -\epsilon )}{2\epsilon }$$而不使用单边公差，因为它不够准确。