梯度检测笔记

梯度检测

概论

在进行BP算法进行训练时，但是在训练时是否出现错误我们也不清楚，训练一旦开始，我们就只能观测到输出信息，如何检测反向传播算法是否正确工作呢?

梯度检验来了，它通过拉格朗日定理检测偏导值与实际的偏导函数之间的误差大小来判断是否出现了错误。

还有一点，在现有的训练框架中，这些细节都被封装起来了，但是作为学习，还是有必要搞清楚的其原理实现的。

1 基础原理

1.1 拉格朗日中值定理

$$\frac{f(\theta +\epsilon )-f(\theta -\epsilon )}{2\epsilon }\approx f^{\prime }(\theta )$$

实际上，这个公式只是近似等于，而且成立的条件是ε趋向于0，要想使其成为恒等式，则要加上误差
$$\frac{f(\theta +\epsilon )-f(\theta -\epsilon )}{2\epsilon }=f^{\prime }(\theta )+O({\epsilon }^2)$$

1.2 验证公式

得到了恒等式，那么怎么评判是否合格呢？还需要将O(ε^2)标准化，那就要用到二范数，计算公式为:

所以令h(θ)
$$h(\theta )=\frac{f(\theta +\epsilon )-f(\theta -\epsilon )}{2\epsilon }$$
则
$$\frac{||h(\theta )-f^{\prime }(\theta )|{|}_2}{||h(\theta )|{|}_2+||f^{\prime }(\theta )|{|}_2}$$
到此处，就计算出了偏差值的标准化结果。

如果值小于10的-7次方则完全不用担心，如果数值过大，则需要检查下代码了。

2 梯度检验的实现

原理明白了，接下来该实现了

在实际操作中，肯定不止一个θ，定义J(θ)为损失函数

则上述公式就变成了
$$\begin{gathered} h({\theta }_i)=\frac{J({\theta }_1,{\theta }_2,{\theta }_3,...{\theta }_i+ϵ,...)-J({\theta }_1,{\theta }_2,{\theta }_3,...{\theta }_i-ϵ,...)}{2ϵ} \\ d{\theta }_i=\frac{\partial J}{\partial {\theta }_i} \end{gathered}$$
于是乎：
$$difference=\frac{||h({\theta }_i)-d{\theta }_i|{|}_2}{||h({\theta }_i)|{|}_2+||d{\theta }_i|{|}_2}<threshold$$
代码表示为

for i =1 ：n,
 thetaPlus = theta;
 thetaPlus(i) = thetaPlus(i)；
 thetaMinus = theta;
 thetaMinus(i) =thetaMinus(i) - EPSILON；
 gradApprox(i) = (J(thetaPlus) - J(thetaMinus)) / (2*EPSILON);
END

3 注意事项

1.只适用于调试阶段，训练阶段使用太耗费时间而且意义不大

2.不能与dropout同时使用，使用dropout会使得损失函数变得不明确，从而无法使用该方法检测

3.如果使用L2正则项，还需要加上L2正则项