deeplearning.ai 总结 - Gradient checking(如何检查梯度的正确性)

deeplearning.ai 总结 - Gradient checking(如何检查梯度的正确性)

flyfish

最小化以 θ ,目标函数 J(θ)

使用梯度公式该实现梯度下降算法
θ:=θαddθJ(θ) θ := θ − α d d θ J ( θ )

使用sigmoid函数 f(z)=11+exp(z) f ( z ) = 1 1 + exp ⁡ ( − z )
它的导数是 f(z)=g(z)=f(z)(1f(z)) f ′ ( z ) = g ( z ) = f ( z ) ( 1 − f ( z ) )
推导方法

导数定义
这里写图片描述
f换成了J

ddθJ=limϵ0J(θ+ϵ)J(θϵ)2ϵ d d θ J = lim ϵ → 0 J ( θ + ϵ ) − J ( θ − ϵ ) 2 ϵ

如何检查g(z)梯度的正确性

g(θ)J(θ+ϵ)J(θϵ)2ϵ g ( θ ) ≈ J ( θ + ϵ ) − J ( θ − ϵ ) 2 ϵ

将 ϵ 设为一个很小的常量,比如 10−4

deeplearning.ai 给的公式是
dθapprox[i]=J(θ1,θ2,,θi+ε,)J(θ1,θ2,,θiε,)2ε d θ a p p r o x [ i ] = J ( θ 1 , θ 2 , ⋯ , θ i + ε , ⋯ ) − J ( θ 1 , θ 2 , ⋯ , θ i − ε , ⋯ ) 2 ε

最后用欧式距离比较相似度

||dθapproxdθ||2||dθapprox||2+||dθ||2 | | d θ a p p r o x − d θ | | 2 | | d θ a p p r o x | | 2 + | | d θ | | 2

整体代码如下 已编译通过

import numpy as np

def sigmoid(z):
    return 1./(1+np.exp(-z))
def sigmoid_derivative(z):
    return sigmoid(z)*(1-sigmoid(z))
def check_gradient(f, x0, epsilon):
    return (f(x0+epsilon) - f(x0-epsilon))/(2*epsilon)

if __name__ == '__main__':#当模块是被导入时,代码块不被运行。
    x = np.array([1,2,3,4,5])
    epsilon = 1e-4
    a=sigmoid_derivative(x)
    b=check_gradient(sigmoid, x, epsilon)
    print(a)
    print(b)
    numerator = np.linalg.norm(a - b)
    denominator = np.linalg.norm(a) + np.linalg.norm(b)
    difference = numerator / denominator
    if difference < 1e-7:
        print("The gradient is correct!")
    else:
        print("The gradient is wrong!")
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

西笑生

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值