数据增强（在线数据增强和离线的区别）

已于 2022-05-22 17:27:51 修改
阅读量5.4k 收藏 43
点赞数 8
分类专栏： 深度学习 文章标签： 深度学习 机器学习 计算机视觉
于 2022-05-09 22:31:05 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42305201/article/details/124677151
版权
数据增强是提升模型泛化能力的重要手段，包括离线和在线两种方式。离线数据增强适用于小规模数据集，一次性扩充后进行训练；在线数据增强则在每个epoch训练前实时进行，如平移、旋转等操作，确保每次训练的多样性，尽管会降低训练速度。尽管数据增强定义在epoch循环外，但通过dataloader的调用，每个epoch的数据仍然是不同的，增加了训练的样本多样性。
摘要由CSDN通过智能技术生成

数据增强

数据增强分为：在线数据增强和离线数据增强

  • 离线数据增强就是一次性把数据读入内存并扩充好，然后用这个扩充后的数据集进行训练，适用于较小的数据集。

  • 在线数据增强就是现在的深度学习框架中所提供的数据增强方式。在每个epoch训练前，对数据集进行平移，旋转等。

​ 数据增强后每个epoch的训练图片数量并没有变；但是由于增强手段 中的随机裁剪，随机畸变等方法中的 随机 ，导致训练中每个epoch的 训练图片都不一样，这样就间接导致数据量的增加。 （这边一定要 注意我们的数据增强方法都是随机的，只有这样每个epoch的数据才 会不一样）

​ 在线增强的缺点就是会使训练速度变慢

这里解决一个疑问：就是我们一般将数据增强写在dataset类内，但是dataset是在epoch循环外的，那么每个epoch的数据不都一样了吗？

其实并不是，因为虽然dataset定义在循环外，但是在每个epoch里面都调用了dataloader来加载数据，而dataloader内部调用了dataset类。所以每个epoch的数据都不一样

TS~~
关注
专栏目录
python工具方法 43 yolo|voc数据离线增强（实现数据类型平衡）
a486259的博客
07-02 754
在众多的目标检测训练代码中都支持在线数据增强，但并不能妥善的解决数据不平衡的问题（比如yolob8，paddledetion都无法指定类别权重；使用focal loss也只是可以缓解bbox样本不平衡，并不能完全缓解类别间的不平衡），故此需要离线数据增强手段来实现数据类别的平衡。对yolo数据离线增强，将扩展后的数据保存为jpg图片和txt标签。对于voc数据的增强也是通过yolo格式间接实现（yolo与voc数据格式的转换代码可以参考：python工具方法 41）。通过本博文的代码可以实现数据离线增强，结
深度学习-数据增强总结
12-30 9212
目录1. 数据增强简介2. 如何进行数据增强2.1 离线增强2.2 在线增强3. 图像中的数据增强3.1 裁剪（Cropping）3.2 翻转变换（Flipping）3.3 旋转 | 反射变换（Rotation/Reflection）3.4 颜色变换（Color Space）3.5 几何变换（Geometric Transformations）3.6 噪声注入（Noise Injection）3.7 移动（Translation）3.8 随机擦除（Random Erasing）3.9 内核过滤器（Kerne
Data Augmentation--数据增强解决你有限的数据集
热门推荐
chang_rj的博客
09-08 6万+
参考来源–感兴趣请戳我戳我. author是Bharath Raj。 以下是翻译内容，有部分删减，感兴趣的可以读原文，该blog仅供学习。笔耕不易，互相交流。 can my “state-of-the-art” neural network perform well with the meagre amount of data I have? Yes.我们的优化目的，是当参数沿着正确的...
浅谈深度学习中数据集离线增强和在线增强
qq_43631827的博客
05-26 2176
伏公子今天读了一篇文章，看到了在线数据增强这个名词，感到很困惑，因此探索了一下，把自己理解的写在这里，伏公子不会去讲定义，只会讲容易理解的解释。 这个在线和离线和我们的是否上网没关系，和QQ的在线状态和离线状态毫无关系，其实我觉得这个在线和离线这个名字起的非常不好，还不如叫静态数据增强和动态数据增强更加形象。 离线数据增强 简单来说，就是把已有的数据进行一些增强(比如，裁剪、旋转、缩放、对比度、光照、镜像、颜色、拉伸等)，然后存储起来，放到硬盘中，等需要用的时候，放到运行内存或者是显存中使用。 举个例子，比
【随笔】深度学习的数据增强还分在线和离线？
YaoYee_21的博客
01-14 5714
这个代码数据增强后怎么数量不变？
离线数据增强
weixin_40132776的博客
12-28 1659
def imgAug(imgDir,dstImg): params = [0.5, 0.6, 0.7, 0.8, 0.9, 1.1, 1.2, 1.3, 1.4, 1.5] gaussParams=[3,5] imgNames=[img for img in os.listdir(imgDir)] for name in imgNames: img = Image.open(os.path.join(imgDir,name)) brightE.
【TF2.0-CNN】使用ImageDataGenerator生成训练数据
menghaocheng的专栏
10-26 3874
如果你还没有下载训练数据，请参考这里。 TF2.0提供了极简洁的API用来生成训练数据，你只要指定图片所在的目录。 【例】马与人的分类 from tensorflow.keras.preprocessing.image import ImageDataGenerator import tensorflow as tf from tensorflow.keras.optimizers imp...
yolo离线数据增强代码
12-13
1. 像素级：HSV增强、旋转、平移、缩放、剪切、透视、翻转等 2. 图片级：MixUp、Cutout、CutMix、Mosaic、Copy-Paste等 3. 基本图片处理方法：将图像的最长边缩放到640，短边填充到640等方法。 可供使用者完成开发...
人工智能-项目实践-数据增强-离线数据增强，自动生成对应的标注文件.zip
12-28
在这个项目实践中，"offline-image-argument-main"可能是一个主程序或者脚本，用于执行离线数据增强和生成标注文件的操作。它可能会包含以下步骤： 1. 读取原始图像和标注文件。 2. 应用预定义的数据增强策略，如...
离线数据增强 VOC2007数据集
04-15
离线数据增强是深度学习中一个重要的技术手段，特别是在图像识别和目标检测任务中，它能够有效提升模型的泛化能力和性能。VOC2007数据集是计算机视觉领域中广泛使用的数据集，用于训练和评估目标检测算法。在这个...
数据集增强程序
11-21
对一组数据按步长为1，一次截取固定长度的数据，对于大量数据集可以进行批量处理并保存
epoch和离线在线增强
m0_69378371的博客
01-17 465
数据增强使得每个epoch内模型遇到的数据都略有不同，这增加了训练的多样性和难度，有助于提高模型的泛化能力。但由于数据增强的存在，模型在每个epoch看到的数据可能会有所不同，因为原始数据每次被加载时都可能应用了不同的增强变换。1. **数据增强**：是一种技术，通过对原始数据进行一系列变换（如旋转、缩放、裁剪、颜色调整等）来生成新的、变化的数据点。简而言之，epoch在数据增强的背景下仍然表示整个数据集的单次完整遍历，但由于数据增强的应用，模型在每个epoch中遇到的每个数据点可能会略有不同。
防止深度学习网络过拟合的方法
卖火柴的小男孩
08-10 1486
L1正则化和L2正则化。 最大值抑制 Dropout 偏差正则化 对于每层正则化 Data Augmentation： 旋转 | 反射变换(Rotation/reflection): 随机旋转图像一定角度; 改变图像内容的朝向; 翻转变换(flip): 沿着水平或者垂直方向翻转图像; 缩放变换(zoom): 按照一定的比例放大或者缩小图像; 平移变换(shift): 在图像平面上
数据增强
qq_41581769的博客
05-21 1821
在深度学习中数据增强的意思 深度学习往往需要大量的样本数进行训练，而实际情况中数据并没有我们想象中的那么多，这时就要用到数据增强 数据增强是用来1.增加训练的数据量，提高模型的泛化能力。2.增加噪声数据，提升模型的鲁棒性，避免过拟合。 数据增强可以分为两类，一类是离线增强，一类是在线增强。 离线增强 ： 直接对数据集进行处理，数据的数目会变成增强因子 x 原数据集的数目 ，这种方法常常用于数据集很...
数据增强（离线）
weixin_43924211的博客
03-29 694
随机采用高斯模糊、调整亮度、平移、cutout、裁剪进行增强，生成增强后的图像和xml。 版权声明：本文为CSDN博主「告白少年」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。 原文链接：https://blog.csdn.net/qq_43555843/article/details/103577196 # -*- coding=utf-8 -*- import os import time import random import cv2 import numpy a
目标检测之离线数据增强
YANJINING
11-02 646
目标检测之离线数据增强 imgaug增强实现 import xml.etree.ElementTree as ET import os from os import getcwd import numpy as np from PIL import Image import cv2 as cv import shutil import matplotlib.pyplot as plt import imgaug as ia from imgaug import augmenters as iaa from
目标检测数据集之离线数据增强
m0_46777224的博客
05-24 5137
目标检测数据集离线数据增强（1变10）
数据增强可以分为在线数据增强和离线数据增强妈
最新发布
02-26
数据增强是指通过对原始数据进行一系列变换和扩充，以增加数据的多样性和数量，从而提升模型的泛化能力和鲁棒性。数据增强可以分为在线数据增强和离线数据增强两种方式。 1. 在线数据增强：在线数据增强是在模型训练过程中实时对数据进行变换和扩充。常见的在线数据增强方法包括随机裁剪、随机旋转、随机缩放、随机翻转等。这些操作可以通过对原始数据进行随机变换，生成多个不同的样本，从而增加数据的多样性。 2. 离线数据增强：离线数据增强是在训练之前对原始数据进行预处理，生成一系列扩充后的数据集。常见的离线数据增强方法包括图像平移、旋转、缩放、亮度调整、噪声添加等。这些操作可以通过对原始数据进行多次变换，生成多个扩充后的样本，从而增加数据的数量和多样性。 在线数据增强和离线数据增强都可以有效地提升模型的泛化能力和鲁棒性，但两者的应用场景略有不同。在线数据增强适用于数据量较大的情况，可以在模型训练过程中实时生成多样化的样本；离线数据增强适用于数据量较小的情况，可以通过预处理生成扩充后的数据集，增加训练样本的数量和多样性。
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值