本文介绍了神经网络中防止过拟合的策略，包括正则化、dropout、数据扩增和early stopping。解释了偏差与方差的概念，以及它们如何影响模型性能。讨论了正则化的原理和实现，dropout的作用和实施方法，数据扩增的意义，以及何时使用early stopping。此外，提到了输入归一化在防止梯度爆炸和梯度消失中的作用。
数据划分：
训练集：通过不同模型进行训练
验证集：选择训练误差最小的模型
测试集：进行无偏评估算法
普通数据时代：7：3
大数据时代，只需要一小部分作为验证，测试 1%，主要是训练集98%
最好让验证集合测试集们来自同一分布，会让学习效率更快
如果无测试集： 不进行无偏估计也可以接受
偏差：体现数据的拟合程度
方差：体现模型的泛化性能
train set error: 1% 15% 15% 0.5%
Dev set error: 11% 16% 30% 1%
过拟合 欠拟合 方差偏差很高 方差偏差很低
很理想的分类，绝大部分的样本点都得到了正确的划分。低方差低偏差
这个模型就对应高偏差，因为有较多的样本点被错误的划分，这种情况我们称模型“欠拟合”。
如果我们使用的一个非常复杂的模型，个模型存在高方差，因为如果我们加入一些新的样本点(例如下图中的a和b)，模型将会很大概率将他们划分到错误的类别里，特别是位于分类边缘的一些样本，这种情况我们称为“过拟合”。
还有一种况，即高偏差高方差的情况，如图所示，高偏差是因为模型对训练样本点不能很好的拟合，有较多的样本点被错误划分；高方差是因为对中间两个样本点过度拟合。因此这是一个比较糟糕的分类器
偏差过高：选择新网络，比如隐藏层的数量和节点数量
方差过高：采用更多数据/正则化/更合适的网络框架/dropout
防止过拟合方法一：
正则化
最低0.47元/天 解锁文章
737
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
