【学习笔记】WEEK1_Setting up your optimization problem_Gradient Checking Implementation Notes

原创 2018年04月15日 15:16:32

1、不要再训练过程中使用 梯度检查,梯度检查 只适用于 调试

    因为 梯度检查 的运算量很大

2、如果 梯度检查 发现问题,去找哪一层(i ∈ [1, L])对应的梯度出现了问题

3、别忘了 J( θ ) 中还包括 正则化 项

4、梯度检查 对 Dropout 不起作用

    可以设置 keep_prob = 1.0 (保留所有神经元),然后再进行梯度检查

5、在 随机初始化 并训练一些次数之后再进行梯度检查、否则可能因为 参数 W,b 太小而导致误差不明显

6、单词

    1)vice versa    #反之亦然

    2)subtlety    #巧妙

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/MegaZhan/article/details/79949080

人工智能工程师直通车第一期

为满足市场需求,培养更多人工智能人才,CSDN学院特别邀请到有十余年教学经验的中科院教授卿来云老师及有丰富工业级实战经验的智亮老师,为大家带来本次课程。 通往人工智能工程师的直通车,已经准备出发了!这波人工智能的热潮,你真的要错过吗?
  • 2017年10月24日 15:37

【学习笔记】WEEK1_Setting up your optimization problem_Gradient checking

1、梯度检查 用来确保 反向传播 应用的正确性2、步骤    1)将所有的参数 w-[l]、b-[l] ,(l ∈ [1, L]) 重组(reshape)成向量,再将这些向量连接成一个巨型向量 θ, ...
  • MegaZhan
  • MegaZhan
  • 2018-04-15 14:26:00
  • 0

【学习笔记】WEEK1_Setting up your optimization problem_Normalizing inputs

1、单词    scatter plot    散点图    subtract out    减去    zero out    归零2、数据标准化分两步:    1)归零        所有元素的均...
  • MegaZhan
  • MegaZhan
  • 2018-04-13 19:26:21
  • 0

【学习笔记】WEEK1_Setting up your optimization problem_Weight Initialization for Deep Networks

1、一个延缓 梯度消失/爆炸 的方法    由于上一层的神经元数越多,本层的 z 越大,希望减小 z    小心谨慎地初始化参数:    在初始化第 l 层的权重向量 w-[l] 时,在后面乘以 第 ...
  • MegaZhan
  • MegaZhan
  • 2018-04-13 20:36:54
  • 5

【学习笔记】WEEK1_Setting up your optimization problem_Vanishing / Exploding gradients

1、梯度消失 / 梯度爆炸    权重矩阵 W 随着 层数L 的变化而变得非常小或非常大、导致梯度很小或很大、导致训练很慢或者发散    ...
  • MegaZhan
  • MegaZhan
  • 2018-04-13 20:05:58
  • 5

【学习笔记】WEEK1_Setting up your optimization problem_Numerical approximation of gradients

1、梯度检查:确保反向传播的正确应用    使用双侧的导数(梯度)定义        比单侧(如下)更精确    ...
  • MegaZhan
  • MegaZhan
  • 2018-04-13 21:12:02
  • 12

Advanced FPGA Design - Architecture, Implementation, and Optimization.pdf

  • 2010年04月16日 22:19
  • 6.88MB
  • 下载

OCP-1Z0-053-V12.02-10题

10.Consider the following scenario for your database: -Backup optimization is enabled in RMAN. The ...
  • rlhua
  • rlhua
  • 2013-10-06 23:12:16
  • 9594

Stephen P. Boyd convex lecture notes

昨天没去听stanford Stephen 教授(convex optimization 教材的作者)的convex的第一课,甚是可惜。好在他昨天主要讲的是basic  concepts 以及fram...
  • carrierlxksuper
  • carrierlxksuper
  • 2013-11-07 19:22:43
  • 2077

Advanced FPGA Design - Architecture, Implementation, and Optimization

  • 2010年08月07日 00:01
  • 7.23MB
  • 下载
收藏助手
不良信息举报
您举报文章:【学习笔记】WEEK1_Setting up your optimization problem_Gradient Checking Implementation Notes
举报原因:
原因补充:

(最多只允许输入30个字)