深度学习——数据增广(笔记)+代码

本文介绍了数据增广的重要性和常用方法,特别是在图像处理中的应用,包括翻转、切割及颜色变换等技术,以提高模型的泛化能力。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

1.为什么要进行数据增广?

大型数据集是深度网络的前提条件

图像增广对训练数据进行一系列的随机变化,生成相似但不同的训练样本,从而扩大训练集的规模

③数据增广:可以处理图片文本语音

④对于图片的处理方式包括:覆盖掉一些像素、对颜色进行变换、对亮度进行变换

 训练集使用图像增广要尽可能模拟出在现实应用中出现的不同场景,这样提升模型的泛化性

2.如何使用数据增广?

增加一个已有数据集,使数据进行变换让它有更多的多样性

如①语音:加入不同场景的噪音  图片改变图片的颜色形状

 3.使用增强数据训练——在线生成随机的【训练集使用,测试集不使用】

翻转,左右,上下,不平行

切割:从图片中切割一块,然后变形到固定的尺寸大小

    随机高宽比[3/4,4/3]

    随机大小[8%,100%]

    随机位置

③颜色:改变色调,饱和度,明亮度[0.5,1.5]

④几十种办法

 

【总结】

数据增广通过变形数据来获取多样性,使模型的泛化性能更好

②常见图片增广包括翻转,切割,变色

【代码】

import torch
import torchvision
from torch import nn
from d2l import torch as d2l

# 数据增广
d2l.set_figsize()
img = d2l.Image.open('../img/cat.jpg')
d2l.plt.imshow(img)
d2l.plt.show()

 【效果】

 2.图片增广的方法 aug代表增广的方法,生成结果是 2行4列

# 图片增广的方法 aug代表增广的方法,生成结果是 2行4列
def apply(img, aug, num_rows=2, num_cols=4, scale=1.5):
    Y = [aug(img) for _ in range(num_rows * num_cols)]  # 通过每次增广的不同方法,把图片存到Y里面
    d2l.show_images(Y, num_rows, num_cols, scale=scale)

# 水平方向随机反转图像 RandomHorizontalFlip() apply(img, torchvision.transforms.RandomHorizontalFlip())

# 上下随机反转图像 RandomVerticalFlip()
apply(img, torchvision.transforms.RandomVerticalFlip())

# 随机剪裁 RandomResizedCrop  scale保存原图多大的区域  ratio高宽比
shape_aug = torchvision.transforms.RandomResizedCrop(size=(200, 200), scale=(0.1, 1), ratio=(0.5, 2))
apply(img, shape_aug)

# 随机改变图片的亮度 ColorJitter  brightness
apply(img, torchvision.transforms.ColorJitter(brightness=0.5, contrast=0, saturation=0, hue=0))

# 随机改变图片的色调 ColorJitter  hue
apply(img, torchvision.transforms.ColorJitter(brightness=0, contrast=0, saturation=0, hue=0.5))

# 随机改变亮度,对比度,饱和度,色调 增加或者减少50%
color_aug = torchvision.transforms.ColorJitter(brightness=0.5, contrast=0.5, saturation=0.5, hue=0.5)
apply(img, color_aug)

# 结合多种图像增广方法
augs = torchvision.transforms.Compose([torchvision.transforms.RandomHorizontalFlip(), color_aug, shape_aug])
apply(img, augs)
d2l.plt.show()

 

 

 

 

 

 

 

 

 

### 李沐深度学习笔记中的数据增广技术细节 在处理图像分类任务时,为了提升模型性能并增强其泛化能力,采用数据增广是一种有效手段。通过应用各种变换操作于原始图片之上,不仅能够扩充可用的数据量,而且有助于减少过拟合现象的发生。 #### 图像增广的作用机制 通过对训练图像执行一系列随机变化来创建相似却有所区别的新样本,以此方式增加训练集多样性[^3]。具体而言: - **扩展数据规模**:生成更多样化的输入实例供网络学习; - **减轻偏差影响**:防止模型过分关注特定特征或模式; - **改善泛化表现**:使模型更稳健地应对未曾见过的真实场景下的测试案例; #### 常见的图像增广方法 针对不同应用场景需求,可以选择多种类型的转换策略组合使用,包括但不限于以下几种基本形式: - **几何变形**:如翻转(水平/垂直)、旋转、缩放和平移等; - **颜色调整**:亮度调节、对比度修改、饱和度变动及色调偏移等; - **噪声注入**:向原图添加高斯白噪或其他形式干扰信号; - **裁剪与填充**:截取部分区域作为新的子图或将边界处补全至指定尺寸; #### 使用PyTorch实现简单的图像增广流程 下面给出一段基于`torchvision.transforms`库构建自定义Transform对象的例子,该对象可以在加载器阶段自动应用于每一批次传入的数据上: ```python from torchvision import transforms transform = transforms.Compose([ transforms.RandomHorizontalFlip(), # 随机水平翻转 transforms.ColorJitter(brightness=0.2, contrast=0.2), # 调整色彩属性 transforms.ToTensor() # 将PIL Image 或 numpy.ndarray转化为tensor ]) ``` 上述代码片段展示了如何利用链式调用来串联多个预处理步骤,并最终形成一个完整的转化管道。每当有新批次的数据被读取进来之后,都会依次经历这里所设定的各项处理环节。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值