deeplearning.ai 总结 - Gradient checking(如何检查梯度的正确性)

deeplearning.ai 总结 - Gradient checking(如何检查梯度的正确性)

flyfish

最小化以 θ ，目标函数 J(θ)

使用梯度公式该实现梯度下降算法
$\theta:=\theta-\alpha\frac{d}{d\:\theta}J(\theta)$

使用sigmoid函数 $f(z)=\frac{1}{1+\exp(-z)}$
它的导数是$f'(z)=g(z)=f(z)(1-f(z))$
推导方法

导数定义

f换成了J

$\frac{d}{d\:\theta}J=\lim_{\epsilon\rightarrow 0}\frac{J(\theta+\epsilon)-J(\theta-\epsilon)}{2\epsilon}$

如何检查g(z)梯度的正确性

$g(\theta)\approx \frac{J(\theta+\epsilon)-J(\theta-\epsilon)}{2\epsilon}$

将 ϵ 设为一个很小的常量，比如 10−4

deeplearning.ai 给的公式是
$d\theta_{approx}[i]=\frac{J(\theta_1,\theta_2,\cdots,\theta_i+\varepsilon,\cdots)-J(\theta_1,\theta_2,\cdots,\theta_i-\varepsilon,\cdots)}{2\varepsilon}$

最后用欧式距离比较相似度

$$\frac{||d\theta_{approx}-d\theta||_2}{||d\theta_{approx}||_2+||d\theta||_2}$$

整体代码如下 已编译通过

import numpy as np

def sigmoid(z):
    return 1./(1+np.exp(-z))
def sigmoid_derivative(z):
    return sigmoid(z)*(1-sigmoid(z))
def check_gradient(f, x0, epsilon):
    return (f(x0+epsilon) - f(x0-epsilon))/(2*epsilon)

if __name__ == '__main__':#当模块是被导入时，代码块不被运行。
    x = np.array([1,2,3,4,5])
    epsilon = 1e-4
    a=sigmoid_derivative(x)
    b=check_gradient(sigmoid, x, epsilon)
    print(a)
    print(b)
    numerator = np.linalg.norm(a - b)
    denominator = np.linalg.norm(a) + np.linalg.norm(b)
    difference = numerator / denominator
    if difference < 1e-7:
        print("The gradient is correct!")
    else:
        print("The gradient is wrong!")