Deep Leaning 学习笔记之组织机器学习项目（1.2）—— 机器学习与人类性能对比

1 性能对比

1.1 概念

贝叶斯误差：最小真实误差。绿色的虚线则为贝叶斯误差。
紫色曲线：代表精确度，随着训练时间的上涨，无限接近贝叶斯误差（最小误差）

1.2 避免方差、偏差

左侧，训练集和人类误差（约等于贝叶斯误差）相差7%，所以有很大的提升空间，就应该大力减少偏差（训练更大的神经网络，更长训练时间等，更好的优化算法如adam等）
右侧，训练集和人类误差已经相差无几，可修正误差为0.5%，但是方差为2%，因此可以大力减少方差（正则化，更大训练集等）
减少偏差：

• Train bigger model，更大的模型
• Train longer/better optimization algorithms ( 加入Momentum或者RMS Prop 或者用更好的算法 比如Adam算法)
• NN architecture（架构）/hyperparameters search——like RNN,CNN

减少方差：

• 更多数据
• 正则化（L2等）
• NN architecture（架构）/hyperparameters search——like RNN,CNN