改善深层神经网络:超参数调试、正则化以及优化第二周检测

本文探讨了深度学习中优化超参数、正则化以及不同梯度下降策略的重要性。重点讨论了mini-batch的大小选择,解释了为何最佳大小通常介于1和整个数据集之间。此外,还涉及了指数加权平均、动量梯度下降以及Adam算法的应用和理解,包括它们对模型训练效率和收敛性的影响。
摘要由CSDN通过智能技术生成

答案见下方


1.当输入从第8个mini-batch的第7个的例子的时候,你会用哪种符号表示第3层的激活?

A.a^ [3]{8}(7)

B.a^ [8]{7}(3)

C.a^ [8]{3}(7)

D.a^ [3]{7}(8)

2. 关于mini-batch的说法哪个是正确的?

A.mini-batch迭代一次(计算1个mini-batch),要比批量梯度下降迭代一次快

B.用mini-batch训练完整个数据集一次,要比批量梯度下降训练完整个数据集一次快

C.在不同的mini-batch下,不需要显式地进行循环,就可以实现mini-batch梯度下降,从而使算法同时处理所有的数据(矢量化)

3.为什么最好的mini-batch的大小通常不是1也不是m,而是介于两者之间?

A.如果mini-batch的大小是1,那么在你取得进展前,你需要遍历整个训练集

B.如果mini-batch的大小是m,就会变成批量梯度下降。在你取得进展前,你需要遍历整个训练集

C.如果mini-batch的大小是1,那么你将失去mini-batch将数据矢量化带来的的好处

D.如果mini-batch的大小是m,就会变成随机梯度下降,而这样做经常会比mini-batch慢

4.如果你的模型的成本J随着迭代次数的增加,绘制出来的图如下,那么:

<

  • 0
    点赞
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值