![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
动手学深度学习 PyTorch版
基于Pytorch
gasgrge
这个作者很懒,什么都没留下…
展开
-
李宏毅2023机器学习作业1--homework1——模型创建
方便更新超参数,对模型进行参数调整。原创 2024-02-25 17:11:51 · 707 阅读 · 0 评论 -
为什么需要验证数据集(validation set)
当我们在进行训练时,会不断地调整参数,降低训练集loss,期望模型无限逼近训练数据集,而这个过程会过拟合,模型在训练数据集上表现很好,在实际的测试集上泛化能力表现在变差。如果有了验证集,我们可以发现当验证集loss先降低,再升高时,这个时候模型可能就过拟合了,就没有必要再不断地优化下去,提醒我们什么时候会出现过拟合。原创 2024-02-23 18:49:34 · 432 阅读 · 0 评论 -
13 Dropout(丢弃法)
dropout可以看做一个正则项,所谓不合理的丢弃就是超参数丢弃概率没设置好,设置低了,可能过拟合,设高了,可能欠拟合,这个可以调。例如,模型a是一层128个参数的感知机,模型b有两层感知机,每层128个参数,dropout为0.5,实际效果往往模型2更好。动机:一个好的模型,需要对你的输入数据鲁棒,无论加入多少噪音都有稳定的输出。实际应用场景:一个更深,更复杂的模型,使用dropout往往效果更好。dropout正则项方法之一,深度学习崛起前,最早提出的算法。丢弃法:在层之间增加噪音,相当于正则。原创 2023-09-02 06:44:26 · 339 阅读 · 0 评论 -
12 权重衰退
如果我们让模型参数取很大的数值,可以用很复杂的模型来拟合红色的点,如果是二次或者三次函数,权重取的很大或者很小,可以造成一个非常不平滑的曲线。如果对模型取值限定在一个范围,不让学习复杂的模型,就会选择比较平滑的模型,例图中绿色的曲线。模型容量受参数个数和参数范围影响,通过L2正则项限制w的取值范围,权重w每次更新乘以小于1的数,w的数值范围不会太大,从而降低模型复杂度,减轻过拟合风险。lambd趋近无穷大,w的L2范式很少,参数w趋近于0。通过增加lambd,w的取值减小,让模型不那么复杂。原创 2023-09-02 01:45:08 · 146 阅读 · 0 评论 -
11 模型选择 + 过拟合和欠拟合
同时,泛化误差也在降低,可以看到当泛化误差过了一个临界点,泛化误差不降反增,处于过拟合状态,这个阈值点是理论的最优点。一个数据集分成K份,每次拿出1份做验证集,其余K-1份做训练集,共做K次训练,求得K次训练的平均精度。K-折交叉验证降低数据分布不均匀带来的误差,举一个极端的例子,K=10000,将数据集分成10000份,做10000次训练,求得平均误差,这样做充分利用了数据,同时也会付出高昂的成本。模型容量高,数据量复杂,可以学习到更多复杂的知识,往往具有较好的性能,这也是目前的一个方向。原创 2023-09-01 23:54:07 · 190 阅读 · 0 评论