文章目录 1. 训练,验证,测试集 2. 偏差,方差 3. 机器学习基础 4. 正则化 5. 为什么正则化有利于预防过拟合 6. dropout正则化 7. 理解dropout 8. 其他正则化方法 9. 归一化输入 10. 梯度消失/梯度爆炸 11. 神经网络的权重初始化 12. 梯度的数值逼近 13. 梯度检验 14. 梯度检验应用的注意事项 1. 训练,验证,测试集 应用型机器学习是一个高度迭代的过程。一个领域得到的直觉经验,通常无法转移到其他领域。 一切都是为了更加有效的进行上面的迭代过程。训练数据通常分为训练集,交叉验证集(验证集),测试集。 三个数据集的作用:训练集执行算法,验证集选择,测试集评估。 小数据时代:验证测试三七分,或者60-20-20 大数据时代:98-1-1或者更小。 样本分布不匹配,这样不好。 测试集没有也行,不需要无偏估计的情况下。 “训练验证集”——二合一。 2. 偏差,方差 高偏差——欠拟合 高方差——过拟合 上面就是训练集和验证集误差和方差、偏差的关系。