【学习笔记】WEEK1_Setting up your optimization problem_Gradient checking

原创 2018年04月15日 14:26:00

1、梯度检查 用来确保 反向传播 应用的正确性

2、步骤

    1)将所有的参数 w-[l]、b-[l] ,(l ∈ [1, L]) 重组(reshape)成向量,再将这些向量连接成一个巨型向量 θ,

        (θ = [θ_1, θ_2, ... ,θ_L]),得到 J(θ)

    2)同理,将 dw-[l]、db-[l] 处理成巨型向量 dθ,为 J(θ) 的梯度

    3)dθ_approx[i]    # 利用 J(θ),通过 导数的定义(双侧) 计算出的 导数

        dθ[i]    #利用 求导公式 计算出来的 导数

    4)检查:dθ_approx[i] 与 dθ[i] 之间的 欧氏距离

        越小越好,例如 10 ^ -7、如果结果大于 10 ^ -3,那很可能就存在 bug 了


3、单词

    1)abbreviate    #缩写

    梯度检查(Gradient Checking)可缩写为 Grad Check

    2)nudge    #轻推

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/MegaZhan/article/details/79948727

【学习笔记】WEEK1_Setting up your optimization problem_Gradient Checking Implementation Notes

1、不要再训练过程中使用 梯度检查,梯度检查 只适用于 调试    因为 梯度检查 的运算量很大2、如果 梯度检查 发现问题,去找哪一层(i ∈ [1, L])对应的梯度出现了问题3、别忘了 J( θ...
  • MegaZhan
  • MegaZhan
  • 2018-04-15 15:16:32
  • 5

【学习笔记】WEEK1_Setting up your optimization problem_Normalizing inputs

1、单词    scatter plot    散点图    subtract out    减去    zero out    归零2、数据标准化分两步:    1)归零        所有元素的均...
  • MegaZhan
  • MegaZhan
  • 2018-04-13 19:26:21
  • 0

【学习笔记】WEEK1_Setting up your optimization problem_Weight Initialization for Deep Networks

1、一个延缓 梯度消失/爆炸 的方法    由于上一层的神经元数越多,本层的 z 越大,希望减小 z    小心谨慎地初始化参数:    在初始化第 l 层的权重向量 w-[l] 时,在后面乘以 第 ...
  • MegaZhan
  • MegaZhan
  • 2018-04-13 20:36:54
  • 5

【学习笔记】WEEK1_Setting up your optimization problem_Numerical approximation of gradients

1、梯度检查:确保反向传播的正确应用    使用双侧的导数(梯度)定义        比单侧(如下)更精确    ...
  • MegaZhan
  • MegaZhan
  • 2018-04-13 21:12:02
  • 10

【学习笔记】WEEK1_Setting up your optimization problem_Vanishing / Exploding gradients

1、梯度消失 / 梯度爆炸    权重矩阵 W 随着 层数L 的变化而变得非常小或非常大、导致梯度很小或很大、导致训练很慢或者发散    ...
  • MegaZhan
  • MegaZhan
  • 2018-04-13 20:05:58
  • 4

OCP-1Z0-053-V12.02-10题

10.Consider the following scenario for your database: -Backup optimization is enabled in RMAN. The ...
  • rlhua
  • rlhua
  • 2013-10-06 23:12:16
  • 9573

【学习笔记】WEEK1_Setting up your Machine Learning Application_Train / Dev / Test sets

1、某个领域的深度学习经验往往不适用于另一个领域2、单词    computer configuration 计算机配置3、深度学习是一个重复调参的过程    4、将数据集分为    1)98% ~ ...
  • MegaZhan
  • MegaZhan
  • 2018-04-12 10:01:15
  • 3

OCP-1Z0-053-200题-99题-10

QUESTION 99 Consider the following scenario for your database: - Backup optimization is enabled in R...
  • rlhua
  • rlhua
  • 2014-02-10 09:56:37
  • 3625

【学习笔记】WEEK1_Setting up your Machine Learning Application_Bias / Variance

1、Bias 与 Variance        1)High Bias        相当于欠拟合        在 test set 、dev set 上表现差不多但均较差    2)High V...
  • MegaZhan
  • MegaZhan
  • 2018-04-12 10:45:33
  • 7

【学习笔记】WEEK1_Setting up your Machine Learning Application_Basic Recipe for Machine Learning

1、判断是否遇到 High Bias 问题(train set performance),如果遇到    1)更大的神经网络:更多的隐藏层,更多的神经元(不提高Variance)    2)更多的训练...
  • MegaZhan
  • MegaZhan
  • 2018-04-12 11:28:11
  • 6
收藏助手
不良信息举报
您举报文章:【学习笔记】WEEK1_Setting up your optimization problem_Gradient checking
举报原因:
原因补充:

(最多只允许输入30个字)