吴恩达改善深层神经网络第一周测试题个人记录

ps：训练集和测试集属于同一分布是为了确保模型在测试集上的性能能够准确地反映出它在实际应用中的表现。

当训练集和测试集属于同一分布时，我们可以更可靠地评估模型的泛化能力。也就是说，我们可以通过测试集上的性能指标来推断模型在实际场景中的表现如何。如果训练集和测试集来自不同的分布，模型可能会过度依赖训练集中的特定数据模式，导致在其他场景下的泛化能力不佳。

问题：什么是权重衰减？

A:通过对权重值设置上限来避免梯度消失的技术（???)

B:正则化技术（例如L2正则化）导致梯度下降在每次迭代时 权重w收缩

C:在训练过程中逐渐降低学习率的过程

D:如果神经网络是在噪声数据下训练的，那么神经网络的权值会逐渐损坏(ps:噪声数据太多影响权值？)

A:权重变小（接近0）

B:权重变大（远离0）

C:2倍的λ \lambdaλ导致2倍的权重

D:每次迭代，梯度下降采取更大的步距（与λ \lambdaλ成正比）

问题：在测试时候使用dropout

B:不随机关闭神经元，也不要在训练中使用的计算中保留1 / keep_prob因子

ps：

因为这些操作只在训练过程中起作用，而在测试阶段应该使用完整的模型来进行预测。

Dropout是一种常用的正则化技术，通过随机关闭部分神经元来减少神经网络的复杂性，使得模型不会过度依赖于特定的特征或神经元，防止过拟合，其目的是减少模型对训练集的过拟合，提高泛化能力。在训练过程中，Dropout会随机关闭一部分神经元节点，以防止网络过度依赖某些特定的神经元，从而促使网络学习到更鲁棒和泛化的特征表示。1/keep_prob因子是在训练过程中用于缩放神经元输出的操作，保持输出值的期望不变。

但是，在测试阶段，我们希望得到模型对新样本的准确预测。因此，关闭神经元的随机性将不再有意义，我们需要使用完整的网络结构来进行预测。否则，如果在测试阶段也采用Dropout的操作，将导致每个样本的预测结果都不稳定。

问题：将参数keep_prob从（比如说）0.5增加到0.6可能会导致以下情况（即减少了随机失活的神经元数）

B:正则化效应被减弱

D:训练集的误差会减小

ps:较高的keep_prob值意味着更少的神经元被关闭，当保留的神经元比例增加时，模型更容易过度拟合训练集，即模型在训练数据上的误差会减小，会减弱正则化效应。

问题：

10.为什么要对输入x 进行归一化？

A：是另一种正则化×——有助减少方差

B：更容易做数据可视化×

C：让参数初始化更快×

D：让代价函数更快地优化

ps：减少不同特征之间尺度的差异，防止某些特征对梯度更新的影响过大。当特征值分布过大时，梯度计算可能会因为特征值相差过大而变得不稳定，导致训练过程困难。

可以使得优化算法更快地收敛到全局最优解。当输入特征值的范围差异很大时，优化算法可能需要更多的迭代次数才能找到最优解。因为大范围的特征值会导致代价函数的形状变得非常细长，梯度下降算法需要花费更多的时间在搜索空间中寻找最优解。（代价函数椭圆形）