如果你的神经网络方差很高，下列哪个尝试是可能解决问题的？-- 019

♣题目部分        如果你的神经网络方差很高，下列哪个尝试是可能解决问题的？          A.添加正则项    B.获取更多测试数据    C.增加每个隐藏层的神经元数量    D.用更深的神经网络    E.用更多的训练数据     




♣答案部分
          AE：方差较高（high variance），表示数据过度拟合（overfitting），有两个解决方法，一个是正则化，另一个是准备更多的数据。            如果用的是L1正则化，w最终会是稀疏的，也就是说w向量中有很多0，有人说这样有利于压缩模型，因为集合中参数均为0，存储模型所占用的内存更少。实际上，虽然L1正则化使模型变得稀疏，却没有降低太多存储内存，所以我认为这并不是L1正则化的目的，至少不是为了压缩模型，人们在训练网络时，越来越倾向于使用L2正则化，L2正则化也被称为“权重衰减”。         除了L2正则化，还有一个非常实用的正则化方法——“Dropout（随机失活）”        在训练过程中，我们希望训练误差，代价函数J都在下降，通过early stopping，我们不但可以绘制上面这些内容，还可以绘制验证集误差，它可以是验证集上的分类误差，或验证集上的代价函数，逻辑损失和对数损失等，你会发现，验证集误差通常会先呈下降趋势，然后在某个节点处开始上升，early stopping的作用是，你会说，神经网络已经在这个迭代过程中表现得很好了，我们在此停止训练