机器学习梯度检验笔记

梯度的数值逼近

  在实施dropout时，由于无法保证dropout是否正确，需要梯度检验来确保网络的正确。具体步骤是我们先通过双边差分计算出一个近似的梯度，和代码计算出的梯度比较，如果二者差的绝对值小于一个阈值，就可以认定计算正确。设函数f如下图所示：

  对点$\theta$加减$\epsilon$，其中$\epsilon$越小越好，由拉格朗日中值定理得：
$$f^{{}^{\prime }}(\theta )=\frac{f(\theta +\epsilon )-f(\theta -\epsilon )}{2\epsilon }=3.000$$
  设程序中计算出的梯度为$g^{{}^{\prime }}(\theta )=3.001$，则逼近误差为0.001。至于为什么使用双边差分而不是单边差分请看这篇文章，https://blog.csdn.net/kaede_xiao/article/details/115709852。

梯度检验

梯度检验步骤：

1. 将矩阵$W^{[1]},b^{[1]},.....,W^L,b^{[L]}$拼接成一个巨大的向量$\theta$,现在代价函数变为如下：
   $$J(W^{[1]},b^{[1]},...,W^{[l]},b^{[l]})=J(\theta )$$
2. 把矩阵$d{W}^{[1]},d{b}^{[1]},....,d{W}^{[L]},d{b}^{[l]}$拼接成一个巨大的向量$d\theta$,它和$\theta$有相同得长度。
3. 检验梯度
   for each i:
   $$d{\theta }_{appear}[i]=\frac{J({\theta }_1,{\theta }_2，....,{\theta }_i+\epsilon ,......)-J({\theta }_1,{\theta }_2，....,{\theta }_i-\epsilon ,......)}{2\epsilon }$$
   此时的$d{\theta }_{appear}[i]$应该逼近于$d\theta [i]$。对于两个向量来说就是判断两个向量是否接近，公式如下：
   $$L=\frac{||d{\theta }_{appear}-d\theta |{|}_2}{||d{\theta }_{appear}|{|}_2+||d\theta |{|}_2}$$
   根据L值大小判断代码运行是否正确。

梯度检验使用技巧和注意事项

1. 不要在训练中使用梯度检验，仅仅用于debug—因为梯度检验算起来很慢。
2. 如果算法出错的话，检查每一个${\theta }_i$来查找出bug。
3. 不要忘记正则项。
4. 梯度检验不能和dropout同时使用，因为使用dropout的网络代价函数J是不确定的，双边差分计算结果会随之变化。使用时先关闭dropout，然后进行梯度检验确保算法正确，再打开dropout。
5. 在随机初始化参数时运行梯度检验，然后反复训练网络，再重新运行梯度检验。