为什么要进行梯度检验

Gradient Checking

反向传播算法很难调试得到正确结果，尤其是当实现程序存在很多难于发现的bug 时。举例来说，索引的缺位错误（off-by-one error）会导致只有部分层的权重得到训练（for(i=1; i<=m; ++i) 被漏写为 for(i=1; i<m; ++i)），再比如忘记计算偏置项。这些错误会使你得到一个看似十分合理的结果（但实际上比正确代码的结果要差）。因此，仅从计算结果上来看，我们很难发现代码中有什么东西遗漏了。
--------------------- 
作者：Inside_Zhang 
来源：CSDN 
原文：https://blog.csdn.net/lanchunhui/article/details/51279293 
版权声明：本文为博主原创文章，转载请附上博文链接！