23.方差和偏差的处理方法 翻译自 吴恩达新书-Machine Learning Yearning

吴恩达新书《机器学习年鉴》中文版单页版本

吴恩达新书《机器学习年鉴》全书目录导航

机器学习：让机器学会打游戏系列教程(含视频)

处理偏差和⽅差的时候有⼀个最简单的准则：

• 如果可避免的偏差很高，则增加你的模型的规模(比如，在神经网络中增加更多的隐藏层或神经元)。
• 如果方差很高，就在训练样本集中增加更多的数据。

如果可以不受任何约束地扩大神经网络规模和训练数据数量，那任何机器学习问题都会不在话下。

事实上，扩大学习模型的规模会逐渐带来计算复杂度的问题，因为训练⼀个巨⼤的模型是很慢的。获取更多的训练数据同样也会让你耗费巨大精力(即使是在互联网上，猫咪图片的数量也是有限的!)。

不同的模型架构，如不同的神经网络架构，会在你要解决的问题上，产生不同的偏差或方差。最近很多深度学习领域，出现了很多创新的模型架构。如果你正在使用神经网络，查看相关的学术⽂献会给你很多的启发。在github上也有很多开源的资源。但是尝试新的架构相对于简单的增加模型和数据的规模，不会带来那样直接和可预测的收益。

增加模型的大小可以逐渐减少偏差，但是也可能会同时增加方差和过拟合的风险。然而，过拟合的问题通常只会在你没有使用正则化时出现。如果你使用了正则化的模型，你通常可以安全方向的增加模型的规模而不必担心会带来过拟合。

假设你正在使用深度学习，用到了L2正则化或是dropout，在使用正则化的情况下，模型在开发样本集上达到最优的性能。如果你增加模型的规模，通常性能会保持不变或是有所提升；但是不太可能会明显变糟。避免使用更大的模型的唯⼀的原因是，随着模型规模的增加，计算量也会逐渐增加。

更多好玩的机器学习教程: 进入袋马学院领一份 ，全部免费?.