Model Bias、Overfiting

本文探讨了模型层数(layers)如何影响深度学习的弹性,指出层数增加能增强非线性拟合能力但也可能导致过拟合。训练集与测试集的分布差异可能导致模型性能下降,当面临非共轭分布时,需要采用如Gibbs采样的方法处理。此外,训练样本不足和过度限制都可能导致过拟合。李宏毅老师的机器学习课程对此有深入讲解。
摘要由CSDN通过智能技术生成

ebf4bc6a82154ff6a642342717626652.png

lays可以增加model的弹性,是不是因为layers可以增加样本数,wx

当选用的函数值使得增加的样本与原分布不同时,

训练集与测试集差异大,

层数越多,模型的非线性拟合能力越强,

但是层数越多也越容易过拟合

另外:训练集高分,测试集预测低分,首先需要区分是分布不同还是时序原因;分布不同的话,贝叶斯的最大后验估计要共轭先验,那非共轭分布怎么处理,这个是不是典型的训练集,测试集分布不同,看到过质量控制有关非共轭分布的文章,没有深入研究,感觉非共轭分布可能真实还蛮多。Gibbs采样什么的,都需要好好研究;时序原因的话,如果因为突变造成的“分布”不同,要考虑突变是不是噪声,噪声可以通过滤波去除,如果不是噪声,信号也可以通过滤波等方法提取出来。

83aa2d38b5984d35909f981f438d9005.png

5830ae4310c34787be2f673a1130c825.png

当训练样本不足时,如此增加训练样本(分布相同)

8aa336d82402405caca5684e219ec1a5.png

98e75c81d06c4e598ea2f57eefdff21c.png

太多限制也会overfitting

47488ebd42da40e9bae0ac61248a69c3.png

李宏毅老师机器学习的note

李老师主页

课程视频

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值