改善深层神经网络 —— 第一周：深层学习的实用层面(选择题作业)

1、如果你有10,000,000个例子，你会如何划分训练/开发/测试集？

训练集占33%，验证集占33%，测试集占33%.
训练集占60%，验证集占20%，测试集占20%.
训练集占98%，验证集占1%，测试集占1%.

2、开发和测试集应该：

来自同一分布
来自不同分布
每对数据(x,y)彼此相同
有相同数量的实例

3、如果你的神经网络模型似乎有很高的【偏差】，下列哪个尝试是可能解决问题的？

添加正则化
获取更多的测试数据
增加每个隐藏层中的神经元个数
加深神经网络
获取更多的训练数据

如果你的神经网络模型似乎有很高的【方差】，下列哪个尝试是可能解决问题的？

添加正则化
获取更多的测试数据
增加每个隐藏层中的神经元个数
加深神经网络
获取更多的训练数据

4、你在一家超市的自动结帐亭工作，正在为苹果，香蕉和橘子制作分类器。 假设您的分类器在训练集上有0.5％的错误，以及验证集上有7％的错误。 以下哪项尝试是有希望改善你的分类器的分类效果的？

增大正则化参数lambda
减小正则化参数lambda
获取更多的训练数据
用一个更大的神经网络

5、什么是权重衰减？

一种正则化技术（如L2正则化），使得每次迭代时，权重都缩小。
训练过程中逐渐降低学习率的过程。
权重的逐渐损坏，如果神经网络是在有噪声的数据上训练的。
通过对权重值施加一个上限来避免梯度消失的一种技术。

6、当你增加正则化超参数lambda时会发生什么？

权重会变得更小（接近0）
权重会变得更大（远离0）
加倍lambda会粗略地导致权重加倍
梯度下降在每次迭代中采取更大的步距（与lambda成比例）

7、利用Inverted-dropout技术，在测试的时候：

使用dropout（随机失活神经元），不保留训练过程计算中使用过的1/keep-prob因子。
使用dropout（随机失活神经元），保留训练过程计算中使用过的1/keep-prob因子。
不使用dropout（不随机失活神经元），保留训练过程计算中使用过的1/keep-prob因子。
不使用dropout（不随机失活神经元），不保留训练过程计算中使用过的1/keep-prob因子。

8、将参数keep_prob从（比如说）0.5增加到0.6可能会导致以下情况

增强正则化效应。
减弱正则化效应。
使神经网络以较大的训练集误差结束
使神经网络以较小的训练集误差结束

9、以下哪些技术可用于减少方差（减少过拟合）：

Xavier初始化
数据增强
梯度检查
梯度爆炸
L2 正则化
梯度消失
Dropout

10、为什么我们要归一化输入x？

使参数初始化更快
使成本函数更快地进行优化
有助于减少方差，归一化是正则化(regularization)的另一个词
使数据更容易可视化