吴恩达改善深层神经网络第三周测试题个人记录

问题：每个超参数如果设置得不好，都会对训练产生巨大的负面影响，因此所有的超参数都要调整好，请问这是正确的吗？

ps: 有一些超参数的选择对模型的性能影响较小，或者在某些情况下可以自动调整，如正则化强度、网络层数、隐藏单元数量等。对于这些超参数，选取一个合理的默认值或使用经验规则可能是足够的，不需要进行详细的调参过程

问题：在超参数搜索过程中，你尝试只照顾一个模型（使用熊猫策略）还是一起训练大量的模型（鱼子酱策略）在很大程度上取决于：

A：是否使用批量（batch）或小批量优化（mini-batch optimization）

B：神经网络中局部最小值（鞍点）的存在性

C：在你能力范围内，你能够拥有多大的计算能力（注：就是高性能电脑和低性能电脑的区别）

D：需要调整的超参数的数量

问题：找到好的超参数的值是非常耗时的，所以通常情况下你应该在项目开始时做一次，并尝试找到非常好的超参数，这样你就不必再次重新调整它们。请问这正确吗？

ps：

在项目开始时就尝试找到非常好的超参数并不总是可行的，因为每个具体问题的特点和数据集的不同，最好的超参数组合也会有所不同。

因此，通常建议在项目开始时先进行一次初步的超参数调整，并记录下超参数的范围和结果。然后，在模型训练过程中，可以根据训练结果逐步调整超参数范围和取值，以取得更好的性能。此外，随着时间的推移和学习的积累，我们可能会发现新的超参数配置或方法，可以进一步提高模型性能

A：最佳值是...

B：对于每个层，有一个全局值γ ∈ R和一个全局值β ∈ R ，适用于于该层中的所有隐藏单元。

ps：不同mini-batch每层可以得出不同的γ和β

C：它们可以用Adam、动量的梯度下降或RMSprop，而不仅仅是用梯度下降来学习

D：γ 和β 是算法的超参数，我们通过随机采样进行调整

ps：

γ控制着归一化后的特征缩放比例，影响了特征的表示能力。一般情况下，γ的默认值为1。如果发现模型的学习速度过慢或者特征缩放不足，可以尝试增大γ的值；反之，如果模型的学习速度过快或者特征缩放过大，可以尝试减小γ的值。

β控制着归一化后的偏移量，对于特征的原始分布进行平移。与γ类似，β的默认值为0。如果发现模型的拟合能力不足或者特征偏移较大，可以尝试增大β的值；反之，如果模型的拟合能力过强或者特征偏移较小，可以尝试减小β的值。

可以使用网格搜索或者随机搜索的方法来寻找最佳的γ和β的取值，可以使用动量（Momentum）或者自适应学习率算法（如Adam、RMSprop），这些方法可以自动地调整γ和β的取值

C：它们确定了给定层的线性变量z [ l ] 的均值和方差

问题：在训练了具有批标准化的神经网络之后，在用新样本评估神经网络的时候，您应该

B：执行所需的标准化，使用在训练期间，通过指数加权平均值得出的μ和σ 2 

D：如果你在256个例子的mini-batch上实现了批标准化，那么如果你要在一个测试例子上进行评估，你应该将这个例子重复256次，这样你就可以使用和训练时大小相同的mini-batch进行预测。

A：即使一个项目目前是开源的，项目的良好管理有助于确保它即使在长期内仍然保持开放，而不是仅仅为了一个公司而关闭或修改。

C：通过编程框架，您可以使用比低级语言（如Python）更少的代码来编写深度学习算法

B：深度学习编程框架的运行需要基于云的机器