生成对抗网络——dataset对文件进行读入

近期在进行生成对抗网络的实验课,对于生成对抗网络(GAN),最重要的就是确定训练集和各项参数。其中对于训练集的处理,即对图片的处理,有很多种方式,我这里写了一个myDataset类对图片进行输入处理

对于训练集,写了一个读入函数myDataset,对选定的训练集进行读入

import numpy as np
import torch
import os
import random
from PIL import Image
from torch.utils.data import Dataset

class myDataset(Dataset):
    def __init__(self, data_dir, transform):

        self.data_dir = data_dir
        self.transform = transform
        self.img_names = [name for name in list(filter(lambda x: x.endswith(".jpg"), os.listdir(self.data_dir)))]

    def __getitem__(self, index):
        path_img = os.path.join(self.data_dir, self.img_names[index])
        img = Image.open(path_img).convert('RGB')

        if self.transform is not None:
            img = self.transform(img)

        return img

    def __len__(self):
        if len(self.img_names) == 0:
            raise Exception("\ndata_dir:{} is a empty dir! Please checkout your path to images!".format(self.data_dir))
        return len(self.img_names)

把文件命名为my_dataset.py文件,保存在:Python的Lib\site-packages\tools目录下

  • 1
    点赞
  • 5
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
生成对抗网络(GAN)可以用于数据增强,通过生成虚拟数据来扩充数据集,从而提高深度学习模型的性能和泛化能力。下面是使用GAN进行数据增强的一些步骤: 1.准备数据集:首先需要准备一个原始数据集,该数据集应包含您要训练的图像或数据。 2.构建GAN模型:构建一个生成器和一个判别器,生成器将生成虚拟数据,判别器将尝试区分真实数据和虚拟数据。 3.训练GAN模型:使用原始数据集训练GAN模型,以便生成器可以学习如何生成类似于原始数据的虚拟数据。 4.生成虚拟数据:使用训练好的生成器生成虚拟数据,可以通过调整生成器的输入来生成不同的虚拟数据。 5.将虚拟数据添加到原始数据集中:将生成的虚拟数据添加到原始数据集中,从而扩充数据集。 6.重新训练深度学习模型:使用扩充后的数据集重新训练深度学习模型,从而提高模型的性能和泛化能力。 下面是一个使用GAN进行数据增强的Python代码示例: ```python # 导入必要的库 import tensorflow as tf from tensorflow.keras import layers import numpy as np # 构建生成器模型 def make_generator_model(): model = tf.keras.Sequential() model.add(layers.Dense(7*7*256, use_bias=False, input_shape=(100,))) model.add(layers.BatchNormalization()) model.add(layers.LeakyReLU()) model.add(layers.Reshape((7, 7, 256))) assert model.output_shape == (None, 7, 7, 256) model.add(layers.Conv2DTranspose(128, (5, 5), strides=(1, 1), padding='same', use_bias=False)) assert model.output_shape == (None, 7, 7, 128) model.add(layers.BatchNormalization()) model.add(layers.LeakyReLU()) model.add(layers.Conv2DTranspose(64, (5, 5), strides=(2, 2), padding='same', use_bias=False)) assert model.output_shape == (None, 14, 14, 64) model.add(layers.BatchNormalization()) model.add(layers.LeakyReLU()) model.add(layers.Conv2DTranspose(1, (5, 5), strides=(2, 2), padding='same', use_bias=False, activation='tanh')) assert model.output_shape == (None, 28, 28, 1) return model # 构建判别器模型 def make_discriminator_model(): model = tf.keras.Sequential() model.add(layers.Conv2D(64, (5, 5), strides=(2, 2), padding='same', input_shape=[28, 28, 1])) model.add(layers.LeakyReLU()) model.add(layers.Dropout(0.3)) model.add(layers.Conv2D(128, (5, 5), strides=(2, 2), padding='same')) model.add(layers.LeakyReLU()) model.add(layers.Dropout(0.3)) model.add(layers.Flatten()) model.add(layers.Dense(1)) return model # 定义损失函数 cross_entropy = tf.keras.losses.BinaryCrossentropy(from_logits=True) # 定义生成器损失函数 def generator_loss(fake_output): return cross_entropy(tf.ones_like(fake_output), fake_output) # 定义判别器损失函数 def discriminator_loss(real_output, fake_output): real_loss = cross_entropy(tf.ones_like(real_output), real_output) fake_loss = cross_entropy(tf.zeros_like(fake_output), fake_output) total_loss = real_loss + fake_loss return total_loss # 定义优化器 generator_optimizer = tf.keras.optimizers.Adam(1e-4) discriminator_optimizer = tf.keras.optimizers.Adam(1e-4) # 定义训练步骤 @tf.function def train_step(images): noise = tf.random.normal([BATCH_SIZE, 100]) with tf.GradientTape() as gen_tape, tf.GradientTape() as disc_tape: generated_images = generator(noise, training=True) real_output = discriminator(images, training=True) fake_output = discriminator(generated_images, training=True) gen_loss = generator_loss(fake_output) disc_loss = discriminator_loss(real_output, fake_output) gradients_of_generator = gen_tape.gradient(gen_loss, generator.trainable_variables) gradients_of_discriminator = disc_tape.gradient(disc_loss, discriminator.trainable_variables) generator_optimizer.apply_gradients(zip(gradients_of_generator, generator.trainable_variables)) discriminator_optimizer.apply_gradients(zip(gradients_of_discriminator, discriminator.trainable_variables)) # 训练GAN模型 def train(dataset, epochs): for epoch in range(epochs): for image_batch in dataset: train_step(image_batch) # 加载MNIST数据集 (train_images, train_labels), (_, _) = tf.keras.datasets.mnist.load_data() train_images = train_images.reshape(train_images.shape[0], 28, 28, 1).astype('float32') train_images = (train_images - 127.5) / 127.5 # 将像素值归一化到[-1, 1]之间 BUFFER_SIZE = 60000 BATCH_SIZE = 256 train_dataset = tf.data.Dataset.from_tensor_slices(train_images).shuffle(BUFFER_SIZE).batch(BATCH_SIZE) # 构建生成器和判别器模型 generator = make_generator_model() discriminator = make_discriminator_model() # 训练GAN模型 EPOCHS = 50 train(train_dataset, EPOCHS) # 生成虚拟数据 noise = tf.random.normal([100, 100]) generated_images = generator(noise, training=False) # 将虚拟数据添加到原始数据集中 augmented_images = np.concatenate((train_images, generated_images), axis=0) # 重新训练深度学习模型 # ... ```

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值