♣题目部分 如果你的神经网络方差很高,下列哪个尝试是可能解决问题的? A.添加正则项 B.获取更多测试数据 C.增加每个隐藏层的神经元数量 D.用更深的神经网络 E.用更多的训练数据
♣答案部分
AE:方差较高(high variance),表示数据过度拟合(overfitting),有两个解决方法,一个是正则化,另一个是准备更多的数据。 如果用的是L1正则化,w最终会是稀疏的,也就是说w向量中有很多0,有人说这样有利于压缩模型,因为集合中参数均为0,存储模型所占用的内存更少。实际上,虽然L1正则化使模型变得稀疏,却没有降低太多存储内存,所以我认为这并不是L1正则化的目的,至少不是为了压缩模型,人们在训练网络时,越来越倾向于使用L2正则化,L2正则化也被称为“权重衰减”。 除了L2正则化,还有一个非常实用的正则化方法——“Dropout(随机失活)” 在训练过程中,我们希望训练误差,代价函数J都在下降,通过early stopping,我们不但可以绘制上面这些内容,还可以绘制验证集误差,它可以是验证集上的分类误差,或验证集上的代价函数,逻辑损失和对数损失等,你会发现,验证集误差通常会先呈下降趋势,然后在某个节点处开始上升,early stopping的作用是,你会说,神经网络已经在这个迭代过程中表现得很好了,我们在此停止训练
如果你的神经网络方差很高,下列哪个尝试是可能解决问题的?-- 019
最新推荐文章于 2023-10-04 19:21:28 发布