深度学习Day-12：实现数据增强

最新推荐文章于 2024-08-26 16:06:05 发布
最新推荐文章于 2024-08-26 16:06:05 发布
阅读量800 收藏 8
点赞数 23
分类专栏： 深度学习 文章标签： 深度学习 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_51359915/article/details/136810432
版权

 🍨 本文为：[🔗365天深度学习训练营] 中的学习记录博客
 🍖 原作者：[K同学啊 | 接辅导、项目定制]

一、 基础配置

  • 语言环境：Python3.7
  • 编译器选择：Pycharm
  • 深度学习环境：TensorFlow2.4.1

二、 前期准备 

1.设置GPU

import tensorflow as tf

gpus = tf.config.list_physical_devices("GPU")

if gpus:
    tf.config.experimental.set_memory_growth(gpus[0], True)  #设置GPU显存用量按需使用
    tf.config.set_visible_devices([gpus[0]],"GPU")

# 打印显卡信息，确认GPU可用
print(gpus)

根据个人设备情况，选择使用GPU/CPU进行训练，若GPU可用则输出：

[PhysicalDevice(name='/physical_device:GPU:0', device_type='GPU')]

由于在设备上安装的CUDA版本与TensorFlow版本不一致，故这里直接安装了CPU版的TensorFlow，无上述输出。

2.导入数据

本项目所采用的数据集未收录于公开数据中，故需要自己在文件目录中导入相应数据集合，并设置对应文件目录，以供后续学习过程中使用。

运行下述代码：

import matplotlib.pyplot as plt

#隐藏警告
import warnings
warnings.filterwarnings('ignore')

from tensorflow.keras import layers
import tensorflow as tf

data_dir   = "../data"
img_height = 224
img_width  = 224
batch_size = 32

3.加载数据

使用image_dataset_from_directory方法将磁盘中的数据加载到tf.data.Dataset中

train_ds = tf.keras.preprocessing.image_dataset_from_directory(
    data_dir,
    validation_split=0.3,
    subset="training",
    seed=12,
    image_size=(img_height, img_width),
    batch_size=batch_size)

val_ds = tf.keras.preprocessing.image_dataset_from_directory(
    data_dir,
    validation_split=0.3,
    subset="validation",
    seed=12,
    image_size=(img_height, img_width),
    batch_size=batch_size)

得到如下输出：

Found 3400 files belonging to 2 classes.
Using 2380 files for training.

Found 3400 files belonging to 2 classes.
Using 1020 files for validation.

在原始数据集中，不包含测试集。因此需要使用 tf.data.experimental.cardinality 来确定验证集中有多少批次的数据，然后将其中的 20% 移至测试集。

val_batches = tf.data.experimental.cardinality(val_ds)
test_ds     = val_ds.take(val_batches // 5)
val_ds      = val_ds.skip(val_batches // 5)

print('Number of validation batches: %d' % tf.data.experimental.cardinality(val_ds))
print('Number of test batches: %d' % tf.data.experimental.cardinality(test_ds))

得到如下输出： 

Number of validation batches: 26
Number of test batches: 6

接着，我们可以通过class_names输出数据集的标签。标签将按字母顺序对应于目录名称：

class_names = train_ds.class_names
print(class_names)

得到如下输出：

['cat', 'dog']

4.配置数据集

  • shuffle() ： 打乱数据

  • prefetch() ：预取数据，加速运行

  • cache() ：将数据集缓存到内存当中，加速运行
AUTOTUNE = tf.data.AUTOTUNE

def preprocess_image(image,label):
    return (image/255.0,label)

# 归一化处理
train_ds = train_ds.map(preprocess_image, num_parallel_calls=AUTOTUNE)
val_ds   = val_ds.map(preprocess_image, num_parallel_calls=AUTOTUNE)
test_ds  = test_ds.map(preprocess_image, num_parallel_calls=AUTOTUNE)

train_ds = train_ds.cache().prefetch(buffer_size=AUTOTUNE)
val_ds   = val_ds.cache().prefetch(buffer_size=AUTOTUNE)

5.数据可视化 

plt.figure(figsize=(15, 10))  # 图形的宽为15高为10

for images, labels in train_ds.take(1):
    for i in range(8):
        ax = plt.subplot(5, 8, i + 1)
        plt.imshow(images[i])
        plt.title(class_names[labels[i]])

        plt.axis("off")
    plt.show()

得到如下输出：

​ 

三、数据增强 

我们可以使用框架中的API: tf.keras.layers.experimental.preprocessing.RandomFlip 与 tf.keras.layers.experimental.preprocessing.RandomRotation 进行数据增强。

  • tf.keras.layers.experimental.preprocessing.RandomFlip：水平和垂直随机翻转每个图像；

  • tf.keras.layers.experimental.preprocessing.RandomRotation：随机旋转每个图像；
data_augmentation = tf.keras.Sequential([
  tf.keras.layers.experimental.preprocessing.RandomFlip("horizontal_and_vertical"),
  tf.keras.layers.experimental.preprocessing.RandomRotation(0.2),
])

其中，第一个层表示进行随机的水平和垂直翻转，而第二个层表示按照 0.2 的弧度值进行随机旋转。 

接着，通过：

# Add the image to a batch.
image = tf.expand_dims(images[i], 0)

plt.figure(figsize=(8, 8))
for i in range(9):
    augmented_image = data_augmentation(image)
    ax = plt.subplot(3, 3, i + 1)
    plt.imshow(augmented_image[0])
    plt.axis("off")
plt.show()

可视化数据增强的结果： 

四、增强方式

1.将其嵌入model中

model = tf.keras.Sequential([
  data_augmentation,
  layers.Conv2D(16, 3, padding='same', activation='relu'),
  layers.MaxPooling2D(),
])

这样做可以使这块的工作得到GPU的加速（如果你使用了GPU训练的话）

2.在Dataset数据集中进行数据增强

batch_size = 32
AUTOTUNE = tf.data.AUTOTUNE

def prepare(ds):
    ds = ds.map(lambda x, y: (data_augmentation(x, training=True), y), num_parallel_calls=AUTOTUNE)
    return ds

train_ds = prepare(train_ds)

五、编译模型

model = tf.keras.Sequential([
  layers.Conv2D(16, 3, padding='same', activation='relu'),
  layers.MaxPooling2D(),
  layers.Conv2D(32, 3, padding='same', activation='relu'),
  layers.MaxPooling2D(),
  layers.Conv2D(64, 3, padding='same', activation='relu'),
  layers.MaxPooling2D(),
  layers.Flatten(),
  layers.Dense(128, activation='relu'),
  layers.Dense(len(class_names))
])

在准备进行训练之前，需要再对模型进行一些设置，以下内容是在模型的编译步骤中添加的：

  • 损失函数（loss）：用于衡量模型在训练期间的准确率；

  • 优化器（optimizer）：决定模型如何根据其看到的数据和自身的损失函数进行更新；

  • 评价函数（metrics）：用于监控训练和测试步骤。以下示例使用了准确率，即被正确分类的图像的比率；

可通过以下代码实现：

model.compile(optimizer='adam',
              loss=tf.keras.losses.SparseCategoricalCrossentropy(from_logits=True),
              metrics=['accuracy'])

六、训练模型 

通过下列示例代码：

epochs=20
history = model.fit(
  train_ds,
  validation_data=val_ds,
  epochs=epochs
)

运行得到如下输出：

Epoch 1/20
75/75 [==============================] - 23s 297ms/step - loss: 0.8472 - accuracy: 0.6109 - val_loss: 0.2080 - val_accuracy: 0.9179
Epoch 2/20
75/75 [==============================] - 25s 335ms/step - loss: 0.1652 - accuracy: 0.9368 - val_loss: 0.1262 - val_accuracy: 0.9493
Epoch 3/20
75/75 [==============================] - 29s 389ms/step - loss: 0.0857 - accuracy: 0.9619 - val_loss: 0.1777 - val_accuracy: 0.9360
Epoch 4/20
75/75 [==============================] - 28s 373ms/step - loss: 0.0773 - accuracy: 0.9745 - val_loss: 0.1239 - val_accuracy: 0.9577
Epoch 5/20
75/75 [==============================] - 28s 377ms/step - loss: 0.0480 - accuracy: 0.9821 - val_loss: 0.1231 - val_accuracy: 0.9638
Epoch 6/20
75/75 [==============================] - 29s 384ms/step - loss: 0.0109 - accuracy: 0.9976 - val_loss: 0.1225 - val_accuracy: 0.9710
Epoch 7/20
75/75 [==============================] - 28s 380ms/step - loss: 0.0078 - accuracy: 0.9985 - val_loss: 0.0984 - val_accuracy: 0.9746
Epoch 8/20
75/75 [==============================] - 28s 370ms/step - loss: 0.0022 - accuracy: 0.9995 - val_loss: 0.1018 - val_accuracy: 0.9795
Epoch 9/20
75/75 [==============================] - 28s 375ms/step - loss: 8.5892e-04 - accuracy: 1.0000 - val_loss: 0.1201 - val_accuracy: 0.9758
Epoch 10/20
75/75 [==============================] - 20s 262ms/step - loss: 3.4210e-04 - accuracy: 1.0000 - val_loss: 0.1185 - val_accuracy: 0.9771
Epoch 11/20
75/75 [==============================] - 19s 257ms/step - loss: 2.2562e-04 - accuracy: 1.0000 - val_loss: 0.1226 - val_accuracy: 0.9758
Epoch 12/20
75/75 [==============================] - 20s 261ms/step - loss: 1.6737e-04 - accuracy: 1.0000 - val_loss: 0.1245 - val_accuracy: 0.9771
Epoch 13/20
75/75 [==============================] - 20s 268ms/step - loss: 1.3166e-04 - accuracy: 1.0000 - val_loss: 0.1268 - val_accuracy: 0.9783
Epoch 14/20
75/75 [==============================] - 20s 263ms/step - loss: 1.0602e-04 - accuracy: 1.0000 - val_loss: 0.1290 - val_accuracy: 0.9771
Epoch 15/20
75/75 [==============================] - 22s 292ms/step - loss: 8.0089e-05 - accuracy: 1.0000 - val_loss: 0.1311 - val_accuracy: 0.9771
Epoch 16/20
75/75 [==============================] - 22s 293ms/step - loss: 5.4304e-05 - accuracy: 1.0000 - val_loss: 0.1311 - val_accuracy: 0.9758
Epoch 17/20
75/75 [==============================] - 27s 362ms/step - loss: 4.2249e-05 - accuracy: 1.0000 - val_loss: 0.1312 - val_accuracy: 0.9758
Epoch 18/20
75/75 [==============================] - 27s 364ms/step - loss: 3.4815e-05 - accuracy: 1.0000 - val_loss: 0.1319 - val_accuracy: 0.9758
Epoch 19/20
75/75 [==============================] - 27s 364ms/step - loss: 2.9114e-05 - accuracy: 1.0000 - val_loss: 0.1327 - val_accuracy: 0.9758
Epoch 20/20
75/75 [==============================] - 27s 364ms/step - loss: 2.4446e-05 - accuracy: 1.0000 - val_loss: 0.1338 - val_accuracy: 0.9758

通过：

loss, acc = model.evaluate(test_ds)
print("Accuracy", acc)

测试准确率为：

6/6 [==============================] - 2s 173ms/step - loss: 0.1804 - accuracy: 0.9844
Accuracy 0.984375

七、 自定义增强方式

import random

def aug_img(image):
    seed = (random.randint(0,9), 0)
    # 随机改变图像对比度
    stateless_random_brightness = tf.image.stateless_random_contrast(image, lower=0.1, upper=1.0, seed=seed)
    return stateless_random_brightness
image = tf.expand_dims(images[3]*255, 0)
print("Min and max pixel values:", image.numpy().min(), image.numpy().max())

可以得到：

Min and max pixel values: 2.4591687 241.47968

 通过运行下述代码，对自定义增强函数进行可视化：

plt.figure(figsize=(8, 8))
for i in range(9):
    augmented_image = aug_img(image)
    ax = plt.subplot(3, 3, i + 1)
    plt.imshow(augmented_image[0].numpy().astype("uint8"))

    plt.axis("off")

得到：

八、个人理解

在深度学习中，数据增强是一种常用的技术，用于扩充训练数据集，以提高模型的泛化能力和减少过拟合。数据增强通过对原始数据进行一系列随机变换和扭曲来生成新的训练样本，从而增加数据的多样性。

常见的数据增强技术包括：

  1. 翻转（Flipping）：对图像进行水平或垂直翻转。
  2. 旋转（Rotation）：对图像进行随机角度的旋转。
  3. 缩放（Scaling）：对图像进行随机比例的缩放。
  4. 平移（Translation）：对图像进行随机方向的平移。
  5. 裁剪（Cropping）：对图像进行随机位置的裁剪。
  6. 亮度调整（Brightness adjustment）：调整图像的亮度。
  7. 噪声添加（Noise injection）：向图像中添加随机噪声。
  8. 对比度调整（Contrast adjustment）：调整图像的对比度。
  9. 色彩平衡（Color balancing）：调整图像的色彩平衡。
  10. 饱和度调整（Saturation adjustment）：调整图像的饱和度。

这些数据增强技术可以应用于图像数据，文本数据甚至是音频数据等不同类型的数据。通过使用数据增强，可以有效地提升模型的性能，尤其在数据量有限的情况下尤为重要。

本文主要工作为：

尝试了几种不同的数据增强方式，包括调用官方API进行增强、使用模型进行增强、使用自定义函数进行增强等，在后续的过程中会继续深入对应只是的学习。

Point__Nemo
关注
专栏目录
深度学习: 数据扩充 (Data Augmentation)
小秋 AI SLAM 入门实战教程
08-13 592
深度学习: 数据扩充 (Data Augmentation)
数据分析-深度学习 Day1
weixin_43902376的博客
01-06 711
李宏毅老师给出了一个可能的解释是：在模型刚开始训练的时候，每个数据点对模型来说都是新的，并没有学到任何东西，或者说并不知晓数据的分布情况，这个时候的 σ 统计是不精准的，模型这个时候如果给与比较大的学习率很容易学偏，并且在一开始的时候很难把错误的点拉回来，因此在模型一开始训练的时候让它慢慢学，等到学到一定的先验知识，对数据分布有了解之后，再加大学习率去学习，至于后面为什么要小下去，这个解释和前面的learning rate decay的思想一样。但细心的同学也许会发现，
深度学习数据扩充
samylee的博客
12-02 6528
俺最近在做深度学习的数据扩充，心得愿与小伙伴们分享 注意喽：有四个程序，我都公布啦 c++源程序如下（感觉代码效率不高，小伙伴们有任何意见希望不吝赐教）： #include <iostream> #include <cv.h> #include <highgui.h> #include <fstream> #include <...
第T10周：使用TensorFlow实现数据增强
最新发布
weixin_47918905的博客
08-26 780
这是大家可以自由发挥的一个地方# 随机改变图像对比度将自定义增强函数应用到我们数据上# 这是大家可以自由发挥的一个地方# 随机改变图像对比度# 归一化处理本次学习了使用两种方式的数据增强提高模型性能以及自定义数据增强函数。
深度学习之 数据增强 【附代码】
qq_39809262的博客
06-06 6021
数据增强 文章目录数据增强常用的数据增强方法1.1 随机比例缩放主要使用的是1.2随机位置截取1.3 随机的水平和竖直方向翻转1.3 随机角度旋转1.4 亮度、对比度和颜色的变化 前面我们已经讲了几个非常著名的卷积网络的结构，但是单单只靠这些网络并不能取得很好的结果，现实问题往往更加复杂，非常容易出现过拟合的问题，而数据增强的方法是对抗过拟合问题的一个重要方法。 2012 年 AlexNet 在 ImageNet 上大获全胜，图片增强方法功不可没，因为有了图片增强，使得训练的数据集比实际数据集多了很多’新’
tensorflow实现数据增强(随机裁剪、翻转、对比度设置、亮度设置)
热门推荐
修炼之路
06-08 4万+
数据增强(Data Augmentation)：是指对图片进行随机的旋转、翻转、裁剪、随机设置图片的亮度和对比度以及对数据进行标准化(数据的均值为0，方差为1)。通过这些操作，我们可以获得更多的图片样本，原来的一张图片可以变为多张图片，扩大了样本容量，对于提高模型的准确率和提升模型的泛化能力非常有帮助，在进行数据增强的同时也会需要消耗大量的系统资源。利用opencv来读取图片，然后利用tensor...
深度学习-数据增强与扩充
阿利同学的博客
06-25 2579
可以说是数据驱动下的深度学习必经之路，掌握数据，相当于掌握当下主流方向的自动驾驶的命脉，是人工智能不可或缺的资源。本文将介绍最新的利用大模型扩充数据的方式！先看下变色效果：左褐色背景图 为原图，右侧为处理后的图！​AI day也在自动标注数据方面，着重介绍，由此可见数据的重要性！深度学习中的数据增强（Data Augmentation）和数据扩充（Data Augmentation）是两个重要的概念，它们用于增加训练数据的多样性，提高模型的泛化能力。下面我将对这两个概念进行详细说明。
leetcode卡-30-Day-LeetCoding-Challenge:“30天LeetCoding挑战”所有问题的解决方案+一些奖励问题
07-06
5. **图论**：图数据结构和相关算法，如深度优先搜索（DFS）、广度优先搜索（BFS）、最短路径算法（Dijkstra、Floyd-Warshall等）在解决网络问题、社交网络分析等场景中有重要作用。 6. **动态规划**：这是一种解决...
advent-of-code-2020：解决了来自Advent of Code的练习-2020
02-16
Advent of Code（AoC）是一项每年圣诞节期间举办的在线编程挑战活动，旨在通过趣味性的编程问题来增强程序员的解决问题的能力和对新技能的掌握。2020年的Advent of Code活动，参与者们面对了一系列精心设计的算法...
动手学深度学习实现DAY-3
weixin_40054643的博客
02-25 3894
节选自“ElitesAI·动手学深度学习PyTorch版”. （Task06：批量归一化和残差网络；凸优化；梯度下降（1天）） Task09：目标检测基础；图像风格迁移；图像分类案例1（1天） Task10：图像分类案例2；GAN；DCGAN（1天） 批量归一化（BatchNormalization） 对输入的标准化（浅层模型） 处理后的任意一个特征在数据集中所有样本上的均值为0、标准差为1...
leetcode卡-LeetCode-July-Challenge:它由7月份31个C++语言日常问题的解决方案组成
07-06
这些文件名可能类似于"Day01_SingleNumber.cpp"、"Day02_ValidPalindrome.cpp"等，按照日期和题目内容命名，方便查阅和学习。通过查看和分析这些源代码，我们可以深入了解每道题目的解题思路，学习不同算法的应用，...
Python-solt深度学习的数据增强库支持图像分段掩码标签和关键点
08-11
solt - 深度学习的数据增强库，支持图像，分段掩码，标签和关键点
2024-05-29 问AI: 在深度学习中，什么是数据集扩增，data augmentation?
baidu_24377669的博客
05-29 859
总的来说，数据集扩增是深度学习中一项重要的技术手段，它通过一系列变换增加了数据的多样性和量，有助于提高模型的泛化能力和避免过拟合。数据集扩增通过引入变化（如旋转、平移、缩放、翻转、色彩调整、添加噪声等）来模拟更多的数据多样性，使得模型能够学习到数据中的不变性和更普遍的特征，而不是特定实例的细节。在实施数据扩增时，需要注意保持数据的真实性和多样性，避免过度的数据扩增导致模型过拟合。数据扩增不仅增加了训练数据的量，更重要的是提高了数据的多样性，帮助模型学习更加鲁棒的特征表示，从而在测试集和实际应用中表现更佳。
深度学习数据增强数据扩增方法
09-26 1518
对图片随机0.6~1.0。然后resize到固定大小。
深度学习~~数据增强
qq_41920323的博客
05-08 1670
图像增强介绍，代码示例
tensorflow进行数据增强
weixin_42206101的博客
11-17 2002
tensorflow进行数据增强 我们在进行训练的时候，如果输入的样本有限，会导致网络陷入过拟合。 在tensorflow里有专门针对这个的解决方法，tf.ImageDataGenerator,它的作用是进行数据增强。在给定数据的基础上进行 旋转，剪切，缩放等操作，来获得更多的数据。 数据增强处理，不会占用更多的存储空间，即在数据增强过程中，原始的数据不会被修改，所有的处理过程都是在内存中即时的。 注意： 虽然数据增强提高了数据的随机性，但是如果数据或者应用场景不具备这样的随机性，那么不仅不会起到作用，还会
用tensorflow进行数据增强
m0_57175342的博客
10-28 1025
深度学习数据增强@TOC 用tensorflow进行数据增强 这几天跑代码，数据量不多，为了防止过拟合和加强训练准确度，就想着做一些图片的数据增强，在网上找了一些代码，能实现功能但是巨慢，甚至比我深度学习训练都慢，昨天花了一点时间写了一个基于tensorflow的，就很快，记录分享一下。 我的这个是用于深度学习的，所以里面包含了json文件的修改，实现的功能很简单，就是同一张图片调对比度，调亮度，加噪声之类的多生成几张图片，修改原始图片json文件中的文件名得到衍生图片的对应标签，这样数据量就能快速增加。
深度学习之数据增强
大叔的博客
03-26 8156
深度学习中最依赖的就是数据量了，同样一只猫轻松一变数据量就翻倍了，我们需要对数据进行数据增强，以消除训练集过拟合的问题。 一、导包 import matplotlib.pyplot as plt from PIL import Image %matplotlib inline from keras.preprocessing import image#操作图像的工具包，代替了opencv import keras.backend as K#操作图像的工具包，代替了opencv import os#操作
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值