动手学深度学习V2.0(Pytorch)——11.模型选择+过拟合和欠拟合

已于 2023-06-15 21:11:38 修改
阅读量324 收藏
点赞数
分类专栏： 动手学深度学习pytorch 文章标签： pytorch 深度学习 自然语言处理
于 2021-10-13 16:00:09 首次发布
本文为博主原创文章，未经博主允许不得转载。
本文链接：https://blog.csdn.net/Castlehe/article/details/120702363
版权
本文介绍了模型选择的重要性和过拟合、欠拟合的概念。模型选择时应关注训练误差和泛化误差，合理划分训练集、验证集和测试集。过拟合和欠拟合是模型拟合能力与数据复杂度不匹配的表现，高容量模型可能导致过拟合，而低容量模型则可能导致欠拟合。在实践中，通过调整模型容量、使用正则化等手段可以缓解这些问题。此外，文章还探讨了SVM与神经网络的优缺点，并分享了训练集验证集测试集的划分策略以及处理样本类别不平衡的方法。
摘要由CSDN通过智能技术生成

文章目录

1. 模型选择

https://www.bilibili.com/video/BV1kX4y1g7jp?p=1

在这里插入图片描述
比如说，银行雇你去调查贷款情况，然后你拿到了一些数据。你的任务就是找出那些欠钱不还的人/违约的人。

在这里插入图片描述

  • 然后你发现那五个违约的人在申请贷款的时候都穿了蓝色衬衫（蓝领）
  • 模型也发现了
  • 但是这个信号其实不足以说明问题，可能刚好面试那天穿了蓝色，第二天也许是红色呢？
  • 所以模型很容易被这种看似有道理的信号给误导，所以遇到这种问题的时候主要是看损失！
了解本专栏 订阅专栏 解锁全文 超级会员免费看
吨吨不打野
关注
专栏目录
订阅专栏
模型的过拟合与欠拟合
红黑树
06-16 916
过拟合与欠拟合定义过拟合（High Viarance）欠拟合（High Bias）误差（Error）产生原因解决方案防止欠拟合防止过拟合正则化L0范数L1范数L2范数讨论参考 定义 首先要确定的两个概念是Underfit(欠拟合)和Overfit（过拟合），也被称为high bias和high viarance。在表征线性回归模型的下面三张图中，左图使用一条直线来做预测模型，很明显无论如何调整起始点和斜率，该直线都不可能很好的拟合给定的五个训练样本，更不要说给出的新数据；右图使用了高阶的多项式，过于完美的拟
欠采样（undersampling）和过采样（oversampling）会对模型带来怎样的影响
热门推荐
Dawei_01的博客
06-28 4万+
参考：知乎专栏 项目中出现了二分类数据不平衡问题，研究总结下对于类别不平横问题的处理经验： 1：为什么类别不平衡会影响模型的输出： 许多模型的输出类别是基于阈值的，例如逻辑回归中小于0.5的为反例，大于则为正例。在数据不平衡时，默认的阈值会导致模型输出倾向与类别数据多的类别。 因此可以在实际应用中，解决办法包括： 1)调整分类阈值，使得更倾向与类别少的数据。 2）选择合适的评估标准，比...
类别不平衡处理的三种基础处理方案
YJ语
04-30 1434
1 简介 在某些时候，我们可能会遇到一些大问题，那就是正样本特别少,负样本特别多（样本不均衡）。 在样本不均横的时候，其数据集在一定程度上会极大影响模型的训练。 那么如何处理这类的问题呢？ 2 类别不平衡样本处理三招 2.1 加权处理 在绝大多数的模型中，模型可以使用类别权重，或则样本权重进行训练。 加权的操作很简单,步骤如下: 遍历每一个样本; 如果样本满足某一个要求，就定义权重; （例如在不平衡的二分类中,如果样本的标签为1,那么我们将其权重设置为w1(自定义);如果样本标签为0;那么我们将其权
面试之-1.0数据集类别分布不平衡问题
Susan Wong
05-22 2407
数据分布不平衡解决方法（ML版） 数据角度： 扩大数据集：最主要是添加小类别数据 采样： 上采样（增加小样本数）和下采样（减少大样本数）–> 上采样由于样本会重复出现，容易出现过拟合；下采样由于都是一部分数据导致模型只学习到一部分特征 —> 针对上采样问题：上采样，在每次新生成的数据点时加入随机扰动；下采样：①（Easy Ensemble）多次下采样（有放回），产生多个不同的数据...
tensorflow2.0 BP神经网络 fashion MNIST图像分类
MARSHCW的博客
11-09 4049
#-*- coding=utf-8 -*- #author: cw #desc:BP NN #date:2020/6/11 import tensorflow as tf import os import numpy as np from matplotlib import pyplot as plt import time import math import random import numpy from tqdm import tqdm_notebook as tqdm from tenso
动手学深度学习-（李沐）PyTorch版本
weixin_64338372的博客
04-04 8552
《动手学深度学习》PyTorch版本和TendorFlow版本（内有所有代码和PDF版下载地址）
《动手学深度学习2.0》学习笔记（一）
m0_51619560的博客
01-18 937
动手学深度学习2.0》电子书的链接地址为https://zh.d2l.ai/index.html本文记录了我在学习本书前4章节（包括引言、预备知识、线性神经网络、多层感知机）过程中的理解和收获。more。
第3章(3.11～3.16节)模型细节/Kaggle实战【深度学习基础】--动手学深度学习【Tensorflow2.0版本】
土豆洋芋山药蛋的博客
01-31 1467
项目地址：https://github.com/TrickyGo/Dive-into-DL-TensorFlow2.0 UC 伯克利李沐的《动手学深度学习》开源书一经推出便广受好评。很多开发者使用了书的内容，并采用各种各样的深度学习框架将其复现。 现在，《动手学深度学习》书又有了一个新的复现代码版本——TensorFlow2.0 版，短时间内成为了github上千star项目，欢迎关注。 3....
《动手学深度学习》tensorflow2.0版 第三章笔记
xu_aml的博客
04-11 826
《动手学深度学习》tensorflow2.0版 第三章笔记线性回归训练图像分类数据集（Fashion-MNIST）训练误差（training error）和泛化误差（generalization error）。 作为一名tensorflow新手，用最基本的函数去完成一些任务是必要的，即使现在pytorch如日中天，还是认为目前一段时间工业界对tensorflow的需求还是会有很多，但是鄙人特别擅长反向押宝????。文中的代码没有实测运行。 线性回归训练 只利用Tensor和GradientTape来实现一个
在线学习的深度强化学习——Online Reinforcement Learning for Learning
程序员光剑
09-01 2433
在人工智能和机器学习领域，深度强化学习（Deep Reinforcement Learning，DRL）已经成为一个备受关注的研究方向。传统的强化学习方法在处理高维状态空间和复杂决策问题时往往力不从心，而深度强化学习通过结合深度学习的强大表示能力，极大地扩展了强化学习的应用范围。然而，在实际应用中，我们常常面临着动态变化的环境和持续输入的数据流，这就要求学习算法能够实时地适应新的情况，不断调整和优化决策策略。在线学习（Online Learning）作为机器学习的一个重要分支，专门解决在。
多模态大模型：技术原理与实战 在LLM时代，对软件研发的更多思考————从软件 1.0 迈向软件 2.0 时代
最新发布
程序员光剑
06-29 815
软件1.0 vs 软件2.0 - **软件1.0**：传统的软件开发方法，通过人工编写明确的**程序逻辑和规则**来实现功能。 - **软件2.0**：利用AI和机器学习技术，通过**训练模型来"学习"如何执行任务，而不是显式编程**。在这种范式下，软件的行为更多地**由数据和学习算法决定，而不是固定的规则。**
标签数据建模
周红伟讲AI
07-06 4197
如上文所说，标签中心的作用是在现有的数据表之上构建跨计算存储的逻辑模型，直接让用户在视图层上对数据进行管理、加工、查询，屏蔽下层的多个大数据计算存储资源，简化数据的使用。当整个数据架构越复杂，越是需要多个计算存储资源组合使用的场景下，标签中心的价值就越为明显。 标签建模的方法来源于阿里巴巴用户画像体系，广泛应用于精准营销、个性化推荐、用户画像、信用评分等需要基于明细数据进行计算的大数据应用当中。所谓标签就是对用户这一对象的一个最小描述单元，代表着所描述对象某一个具体的客观事实的抽象表达，如属性（性别 标..
多项式模型在不同数据量下的学习曲线变化趋势
lisenpy的博客
08-05 541
import numpy as np import pandas as pd import matplotlib.pyplot as plt from sklearn.preprocessing import PolynomialFeatures from sklearn.linear_model import LinearRegression from sklearn.pipeline import make_pipeline from sklearn.model_selection import val
相关-21. 卷积的示意图（普通卷积，多通道卷积等）及Featur Map可视化
Castlehe的博客
12-14 5667
0. 普通卷积动图 图源自：Types of Convolution(Translation) 图自：Intuitively Understanding Convolutions for Deep Learning 图自：github-vdumoulin/conv_arithmetic 这里还有很多其他类似的图，上图是padding取1（kernel-2p=1），步幅取偶数（取了2）的情况 图自：Convolutional layer 图自：CNN Image Classification
相关-37. 释放GPU显存
Castlehe的博客
03-01 4773
文章目录1. 起因2. 常规解决 1. 起因 RuntimeError: CUDA out of memory. Tried to allocate 144.00 MiB (GPU 0; 2.00 GiB total capacity; 1.29 GiB already allocated; 79.00 MiB free; 1.30 GiB reserved in total by PyTorch) 我的机器显存只有4G 如果启动训练后由于代码错误，但是数据和模型已经加载到GPU中。 此时报错后，并不会
动手学深度学习V2.0(Pytorch)——19.卷积
Castlehe的博客
12-09 2356
P1 从全连接层到卷积 https://www.bilibili.com/video/BV1L64y1m7Nh 假设有一个还不错的手机，拍出来一张图片（比如iphone11的后置摄像头，就是双摄：1200 万像素广角及超广角，来自iphone11技术规格）。那么一张照片至少12M（Million 百万），如果是RGB图的话就是36M？？？ 如果使用一个有100个神经元的单隐藏层的MLP，考虑一下，y=wx+by=wx+by=wx+b，这里x=36M∗1x=36M*1x=36M∗1，则w=100∗36M=
动手学深度学习V2.0(Pytorch)——20. 卷积层里的填充和步幅
Castlehe的博客
12-13 2336
P1 填充和步幅 https://www.bilibili.com/video/BV1Th411U7UN
相关-28. pytorch中register_parameter()和parameter()
Castlehe的博客
02-06 2101
文章目录1. Parameter()2. register_parameter()3. 二者的区别 1. Parameter() 先看一下官方文档的定义和说明，点击这里 torch.nn.parameter.Parameter(data=None, requires_grad=True) """ Parameter定义的变量，其实也是一种Tensor，但是其会被作为模型的参数（特殊的张量） Parameters是Tensor的子类，当和Module类一起使用时，会有一个特殊的属性 即：当被指派为模型的
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

吨吨不打野

解决了问题，觉得还行就给点

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值