吴恩达改善深层神经网络第三周测试题个人记录

问题:每个超参数如果设置得不好,都会对训练产生巨大的负面影响,因此所有的超参数都要调整好,请问这是正确的吗?

ps: 有一些超参数的选择对模型的性能影响较小,或者在某些情况下可以自动调整,如正则化强度、网络层数、隐藏单元数量等。对于这些超参数,选取一个合理的默认值或使用经验规则可能是足够的,不需要进行详细的调参过程

问题:在超参数搜索过程中,你尝试只照顾一个模型(使用熊猫策略)还是一起训练大量的模型(鱼子酱策略)在很大程度上取决于:

A:是否使用批量(batch)或小批量优化(mini-batch optimization)

B:神经网络中局部最小值(鞍点)的存在性

C:在你能力范围内,你能够拥有多大的计算能力(注:就是高性能电脑和低性能电脑的区别)

D:需要调整的超参数的数量

问题:找到好的超参数的值是非常耗时的,所以通常情况下你应该在项目开始时做一次,并尝试找到非常好的超参数,这样你就不必再次重新调整它们。请问这正确吗?

ps:

在项目开始时就尝试找到非常好的超参数并不总是可行的,因为每个具体问题的特点和数据集的不同,最好的超参数组合也会有所不同。

因此,通常建议在项目开始时先进行一次初步的超参数调整,并记录下超参数的范围和结果。然后,在模型训练过程中,可以根据训练结果逐步调整超参数范围和取值,以取得更好的性能。此外,随着时间的推移和学习的积累,我们可能会发现新的超参数配置或方法,可以进一步提高模型性能

A:最佳值是...

B:对于每个层,有一个全局值γ ∈ R和一个全局值β ∈ R ,适用于于该层中的所有隐藏单元。

ps:不同mini-batch每层可以得出不同的γ和β

C:它们可以用Adam、动量的梯度下降或RMSprop,而不仅仅是用梯度下降来学习

D:γ 和β 是算法的超参数,我们通过随机采样进行调整

ps:

γ控制着归一化后的特征缩放比例,影响了特征的表示能力。一般情况下,γ的默认值为1。如果发现模型的学习速度过慢或者特征缩放不足,可以尝试增大γ的值;反之,如果模型的学习速度过快或者特征缩放过大,可以尝试减小γ的值。

β控制着归一化后的偏移量,对于特征的原始分布进行平移。与γ类似,β的默认值为0。如果发现模型的拟合能力不足或者特征偏移较大,可以尝试增大β的值;反之,如果模型的拟合能力过强或者特征偏移较小,可以尝试减小β的值。

可以使用网格搜索或者随机搜索的方法来寻找最佳的γ和β的取值,可以使用动量(Momentum)或者自适应学习率算法(如Adam、RMSprop),这些方法可以自动地调整γ和β的取值

C:它们确定了给定层的线性变量z [ l ] 的均值和方差

问题:在训练了具有批标准化的神经网络之后,在用新样本评估神经网络的时候,您应该

B:执行所需的标准化,使用在训练期间,通过指数加权平均值得出的μ和σ 2 

D:如果你在256个例子的mini-batch上实现了批标准化,那么如果你要在一个测试例子上进行评估,你应该将这个例子重复256次,这样你就可以使用和训练时大小相同的mini-batch进行预测。

A:即使一个项目目前是开源的,项目的良好管理有助于确保它即使在长期内仍然保持开放,而不是仅仅为了一个公司而关闭或修改。

C:通过编程框架,您可以使用比低级语言(如Python)更少的代码来编写深度学习算法

B:深度学习编程框架的运行需要基于云的机器

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值