23.方差和偏差的处理方法 翻译自 吴恩达新书-Machine Learning Yearning

吴恩达新书《机器学习年鉴》中文版单页版本

吴恩达新书《机器学习年鉴》全书目录导航

机器学习:让机器学会打游戏系列教程(含视频)

处理偏差和⽅差的时候有⼀个最简单的准则:

  • 如果可避免的偏差很高,则增加你的模型的规模(比如,在神经网络中增加更多的隐藏层或神经元)。
  • 如果方差很高,就在训练样本集中增加更多的数据。

如果可以不受任何约束地扩大神经网络规模和训练数据数量,那任何机器学习问题都会不在话下。

事实上,扩大学习模型的规模会逐渐带来计算复杂度的问题,因为训练⼀个巨⼤的模型是很慢的。获取更多的训练数据同样也会让你耗费巨大精力(即使是在互联网上,猫咪图片的数量也是有限的!)。

不同的模型架构,如不同的神经网络架构,会在你要解决的问题上,产生不同的偏差或方差。最近很多深度学习领域,出现了很多创新的模型架构。如果你正在使用神经网络,查看相关的学术⽂献会给你很多的启发。在github上也有很多开源的资源。但是尝试新的架构相对于简单的增加模型和数据的规模,不会带来那样直接和可预测的收益。

增加模型的大小可以逐渐减少偏差,但是也可能会同时增加方差和过拟合的风险。然而,过拟合的问题通常只会在你没有使用正则化时出现。如果你使用了正则化的模型,你通常可以安全方向的增加模型的规模而不必担心会带来过拟合。

假设你正在使用深度学习,用到了L2正则化或是dropout,在使用正则化的情况下,模型在开发样本集上达到最优的性能。如果你增加模型的规模,通常性能会保持不变或是有所提升;但是不太可能会明显变糟。避免使用更大的模型的唯⼀的原因是,随着模型规模的增加,计算量也会逐渐增加。

更多好玩的机器学习教程: 进入袋马学院领一份 ,全部免费?.

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值