前言
梯度检验反向传播求导是否正确,直接用之前实现的dnn和课件给的程序检验。
程序地址:https://github.com/ConstellationBJUT/Coursera-DL-Study-Notes/tree/master/class2_week1_practice
主要公式和实现
计算每个参数的近似梯度,最后求欧氏距离,判断是否计算正确。
涉及程序文件
dnn_gradient_check.py
结论
课件给的结果
(1)求导公式写错结果:应该都为1
There is a mistake in the backward propagation! difference = 0.2850931567761624
(2)修正后还是大了一点:
There is a mistake in the backward propagation! difference = 1.1890913023330276e-07
(3)自测实验结果,挺好的:
The gradient is correct!
3.137502547018782e-09