深度学习 Deep Learning UFLDL 最新Tutorial 学习笔记 4：Debugging: Gradient Checking

1 Gradient Checking 说明

前面我们已经实现了Linear Regression和Logistic Regression，关键在于代价函数Cost Function和其梯度Gradient的计算。

在Gradient的计算中，我们一般采用推导出来的计算公式来进行计算。

但是我们看到，推导出来的公式是复杂的，特别到后面的神经网络，更加复杂。这就产生了一个问题，我们如何判断我们编写的程序就是计算出正确的Gradient呢？

解决办法就是通过数值计算的方法来估算Gradient然后与用公式计算出来的数据做对比，如果差距很小，那么就说明我们的计算是对的。

那么采用什么数值计算方法呢？

其实就是基于最基本的求导公式：

ddθJ(θ)