秃姐学AI系列之：模型选择 | 欠拟合和过拟合 | 权重衰退

已于 2024-08-04 21:53:25 修改
阅读量941 收藏 12
点赞数 30
分类专栏： 神经网络 文章标签： 人工智能 机器学习 深度学习
于 2024-08-04 19:51:12 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_62415132/article/details/140909502
版权

目录

训练误差

泛化误差

验证数据集和测试数据集

验证数据集 Validation Dataset：

测试数据集：

K-则交叉验证 

总结

过拟合和欠拟合

 模型容量

模型容量的影响 

估计模型容量

数据复杂度 

总结

权重衰退 weight decay

使用均方范数作为硬性限制

使用均方范数作为柔性限制

参数更新法则

 总结

训练误差

        模型再训练数据上的误差

泛化误差

        模型在新数据上的误差，这个其实才是我们关心的重点

E.G.根据模拟考试来预测未来考试的分数

  • 在过去的考试表现得很好（训练误差）不代表未来考试一定会好（泛化误差）
  • 学生A通过背书在模拟考拿到了很好的成绩——>很有可能拿到一个非常高的成绩
  • 学生B直到答案后面的原因——>摸底考试可能不咋地，但是在未来考试中可能会比A考得更好

那我们是如何计算两种误差的呢？通过两种数据集

验证数据集和测试数据集

验证数据集 Validation Dataset：

用来评估模型好坏的数据集

  • 例如拿出50%的训练数据
  • 不要跟训练数据混在一起（常犯错误）

测试数据集：

只用依次的数据集

  • 未来的考试
  • 我出家的房子的实际成交价
  • 用在Kaggle私有排行榜中的数据集 

但是其实这是学术概念，在实际应用中经常处于缺少数据集的状态，于是我们衍生出了下一个概念

K-则交叉验证 

在没有足够多数据时使用（这是常态）

算法：

  • 将训练数据分割成k块
  • For i = 1，...，K      使用第 i 块作为验证数据集，其余的作为训练数据集
  • 报告K个验证集误差的平均
  • 常用K = 5 OR 10

这里可以看出，如果你的数据集非常的大，K应该小一些，不然训练起来会非常的贵 

总结

  • 训练数据集：训练模型参数
  • 验证数据集：选择模型超参数
  • 非大数据集上通常使用K-折交叉验证

过拟合和欠拟合

是一个非常常见的现象

模型容量简单来说就是模型的复杂度，以下是详细定义

 模型容量

  • 拟合各种函数的能力
  • 低容量的模型难以拟合训练数据
  • 高容量的模型可以记住所有训练数据

模型容量的影响 

从图中可以看出，随着模型复杂程度上升，模型的训练误差是可以降到很低的，甚至理论上可以降到0。但并不是所有数据的训练误差都到0就一定是好的，因为这样意味着数据里的噪声也被模型记住了。所以我们看到我们真正关心的泛化误差在下降到一定程度时候，会随着模型复杂程度上升而上升。意味着你的模型其实是被一些无关信息困扰住了。

所以我们会用泛化误差和训练误差之间的差值变化来判断模型过拟合和欠拟合的程度

但过拟合了也不要害怕，过拟合不是一个很可怕的事情。因为首先你模型的容量得够，之后才能去控制模型的拟合程度，这点是整个深度学习最核心的事情。

估计模型容量

  • 我们其实是难以在不同的种类算法之间比较    例如树模型和神经网络
  • 但是如果我们给定一个模型种类，那么模型的容量将有两个主要因素：
    • 参数的个数
    • 参数值的选择范围

数据复杂度 

多个重要因素：

  • 样本个数
  • 每个样本的元素个数
  • 时间、空间结构：比如视频就有时间轴的特征
  • 多样性：数据分几类

总结

  • 模型容量需要匹配数据复杂度，否则可能导致欠拟合和过拟合
  • 实际中一般还是需要靠观察训练误差和验证误差 

权重衰退 weight decay

权重衰退是最常见的处理过拟合的一种方法

使用均方范数作为硬性限制

通过限制参数值的选择范围来控制模型容量

l是损失，我们的目标还是最小化我们的损失。w，b是我们的参数。

加入限制：||w||^{2}\leq\theta，即w每个元素的值的平方都要小于一个固定值。

但其实一般来说不会直接用这个优化函数，略复杂 

        通常不限制偏移 b（限不限制其实都差不多）

        小的 \theta 意味着更强的正则项

使用均方范数作为柔性限制

对于每个 \theta ，都可以找到 \lambda 使得之前的目标函数等价于下面

这两项优化其实和之前那个硬性限制是一样的 

        可以通过拉格朗日乘子来证明

超参数 \lambda 控制了正则项的重要程度

         \lambda = 0：无作用

         \lambda -> \infty，w* -> 0

w*是一个最优解权重 

当我想控制模型复杂度，不想要模型太复杂的时候，我可以通过增加 \lambda 来达成我的需求

参数更新法则

 总结

  • 权重衰退通过L2正则项使得模型参数不会过大，从而控制模型复杂度
  • 正则项权重是控制模型复杂度的超参数
不是很强 但是很秃
关注
  • 30
    点赞
  • 踩
  • 12
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
【动手学深度学习v2李沐】学习笔记06：模型选择、欠拟合和过拟合、代码实现
weixin_45800258的博客
09-21 1004
本文讲述了影响模型选择的因素，包括模型容量和数据复杂度。进一步讲解了模型容量的定义、估算方法和用处。讲解了模型容量与过拟合和欠拟合之间的关系，并讨论了过拟合与欠拟合产生的原因。此外，文中通过代码进一步探索了数据、模型和拟合之间的关系。
机器学习之过拟合与欠拟合，K折交叉验证详解【含代码】
迷茫与徘徊只会让你陷入绝境，欢迎私信博主，带你开始提升变现价值！
10-13 2006
K折交叉验证不仅仅适用于多参数的网格搜索，也适用于单个参数的调优。其目的是为了提供对模型在未见数据上性能的一个更稳健的估计，从而帮助我们选择更好的参数。
Pytorch总结六之 欠拟合和过拟合的解决方法
yohnyang的博客
09-16 822
Pytorch总结六之 欠拟合和过拟合的解决方法
【动手学深度学习】模型选择＋过拟合和欠拟合+权重衰退
Ya_nnnG的博客
01-16 139
【动手学深度学习】模型选择＋过拟合和欠拟合+权重衰退
【模型选择 + 过拟合和欠拟合】
chenjunheaixuexi的博客
06-17 106
简要介绍模型的过拟合以及解决方法
【TensorFlow深度学习】九、模型选择与拟合（过拟合、欠拟合、模型容量、验证集与测试集）
鹤子的一些知识共享
11-24 893
本节介绍的权重衰退通过控制取值范围缓解过拟合
K折交叉验证，欠（过）拟合，权重衰退，暂退法的基本概念
qq_46348508的博客
12-08 1011
K折交叉验证是一种评估模型性能的常用方法，特别是在数据量较少的情况下。这种方法将数据集分为K个不重叠的子集，每个子集大致具有相同的大小。然后，模型会进行K次训练和验证。在每次迭代中，模型会在K-1个子集（即训练集）上进行训练，并在剩下的一个子集（即验证集）上进行验证。这样，每个子集都有一次机会作为验证集，其余次数作为训练集。K折交叉验证的主要优点是，它允许模型在多个不同的训练和验证集上进行训练和验证，这有助于提供对模型性能更稳健的估计。
处理过拟合的方法之权重衰退
qq_45951583的博客
02-23 212
过拟合是在模型训练过程中会时常出现的问题，往往表现为训练误差较小，而验证误差较大。数据集的复杂程度以及模型容量的过大都是导致过拟合的影响因素。而为了控制模型容量让他不至于太大有两个方法：1、减少参数个数。2、限制参数范围。权重衰退就是通过限制参数值的选择范围来控制容量模型。
动手学深度学习笔记（一）——权重衰退
weixin_45169380的博客
12-12 3093
权重衰减的作用机理和实现
深度学习之权重衰退
ZHT2016iot的博客
10-08 758
一 . 什么是权重衰退 模型在训练的过程中可能过拟合，这一般是由于数据复杂度太低而模型容量太大导致的，简而言之就是数据太简单，模型太复杂，模型学习到了数据的一切，包括噪音。此时，权重往往会很大（受噪音影响），显然模型并没有训练到最优（虽然它记住了训练数据的一切，但是对于新的样本泛化能力很差）。所以，我们想要适当降低权重，使模型接近最优，这样模型的泛化性能提升就适当的解决了过拟合问题，这就是权重衰退。 二. 详细内容 ...
深度学习基础20（权重衰退以及代码实现详解）
FLR的博客
04-01 2302
权重衰减 ![[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-Ehy5R4fH-1648806333395)(C:\Users\Lenovo\Documents\Tencent Files\850604703\FileRecv\MobileFile\Image\O6Z4JUTQKQ5[F51]45}0~[B.png)](https://img-blog.csdnimg.cn/c14d72718c1a4d289631d2dbde576be0.png?x-oss-process=i
MATLAB指数拟合误差分析全攻略：评估拟合质量，提升模型可靠性
指数拟合模型的方程形式为 y = a * exp(b * x)，其中 a 和 b 是模型参数，exp 是自然指数函数。 拟合过程的目标是找到一组参数 a 和 b，使模型曲线尽可能接近给定的数据点。然而，由于数据噪声、模
AI之DL：人工智能领域—深度学习的简介(包括相关术语概念)、常用算法、常用框架、应用场景之详细攻略
热门推荐
近期请国内外头部出版社可尽快私信博主！——心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，谦虚，自律，反思，成长，还算是比较正能量的博主，公益免费传播……内心特别想在AI界做出一些可以推进历史进程影响力的东西(兴趣使然，有点小情怀，也有点使命感呀)…
12-30 1万+
​ DL：深度学习技术之BP神经网络的简介、基础知识(神经元/感知机、训练策略、预测原理)、算法分类、经典案例应用之详细攻略 目录 深度学习浪潮兴起的三大因素 BP神经网络的简介 深度学习(神经网络)的算法分类 深度学习浪潮兴起的三大因素 海量的数据 不断提升的算法能力 高性能计算硬件的实现：GPU、TPU 1、感知机 DL之Perceptron：Perceptron感知器(感知机/多层感知机/人工神经元)的简介、原理、案例应用(相关配图)之详细攻略 2、对比：传统
如何开发主播美颜工具？直播美颜SDK的实现方案
q1031691172的博客
09-04 1072
由于直播场景对实时性要求极高，因此性能优化是美颜SDK开发的关键。开发者可以通过减少计算复杂度、优化算法效率、利用硬件加速等手段来提升性能。同时，还需在不同设备和操作系统上进行兼容性测试，确保SDK的广泛适用性。
YOLOV5入门教程-yolov5s.yaml文件
vimpirespider的博客
09-04 1569
这段backbone共有9个层次，每个层次逐步提取图像特征并下采样。最后输出的特征图尺寸为40x40，通道数为1024。这个特征图包含了从输入图像中提取到的高层次特征，准备在后续的网络层中用于目标检测。
【提效工具】AI工作流的1-10个实际落地场景
最新发布
万物皆有灵
09-09 275
在这个快速发展的数字时代，人工智能（AI）正在以惊人的速度改变我们的工作方式。无论你是开发者、教育工作者还是内容创作者，AI工作流提示词助手都能为你提供无与伦比的支持。今天，我们将深入探讨，20个实际落地场景，帮助你更好地理解如何利用这些工具提升工作效率和创造力。💡。
Transformer
m0_65325092的博客
09-04 740
是谷歌2017年发表在NeurlIPS上的文章中提出的模型。模型仅基于注意力机制，能够有效捕捉输入序列中的长距离依赖关系，完全不涉及循环和卷积，解决了传统的序列到序列(Seq2Seq)模型处理可变长序列时存在的问题(RNN处理长序列时易出现梯度消失或爆炸，不能并行计算，难以捕捉长距离依赖关系。CNN卷积操作的输入需要具有固定尺寸，处理可变长序列时为使序列长度相同需要填充短序列因而效率较低)。实验表明其在质量上更优越，更易于并行化，训练时间也大大减少。
Behind the Code：与 Rakic 和 Todorovic 对话 OriginTrail 如何实现 AI 去中心化
CryptoBuffett的博客
09-05 1389
它可以以去中心化的方式访问不同来源的知识资产，同时维护数据所有权和知识产权，并且提供可验证性，从而精确确定某个知识资产的来源，并将其作为 AI 的输入。迄今为止，平行链的运行非常顺利，没有出现停机现象，拥有独立的治理结构和所有可用的 Pallet，这是 Polkadot 从一开始就做对的地方。另一方面是 “知识网络” 的概念，这一概念最早由万维网的创始人蒂姆·伯纳斯·李提出，他也是 “Web 3.0” 这一术语的最初提出者，该术语最初被称为 “语义网”，如今则体现在知识图谱的概念中。
理解过拟合与欠拟合：模型选择与优化策略
"本资源主要探讨了机器学习中的过拟合和欠拟合现象，以及如何通过验证数据集和K折交叉验证来选择合适的模型。此外，还提到了梯度消失和梯度爆炸问题在深度学习中的影响，以及在训练模型时如何避免这些问题。" 在...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值