用Keras ImageDataGenerator生成器读取一整个文件夹的图片作为训练集，并用测试集的图片文件夹进行预测和评估

最新推荐文章于 2023-03-23 11:58:48 发布
最新推荐文章于 2023-03-23 11:58:48 发布
阅读量3.6k 收藏 30
点赞数 6
文章标签： 神经网络 深度学习 计算机视觉 tensorflow
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_26606467/article/details/105302884
版权
本文介绍了如何利用Keras的ImageDataGenerator类从文件夹中批量读取和预处理图像，用于训练和评估神经网络模型。通过实例化ImageDataGenerator并调用flow_from_directory方法，可以方便地处理多类别图像数据。训练完成后，使用generator的reset方法和predict_generator、evaluate_generator对测试集进行预测和评估。
摘要由CSDN通过智能技术生成

用Keras ImageDataGenerator生成器读取一整个文件夹的图片作为训练集，并用测试集的图片文件夹进行预测和评估

近期在使用keras框架进行CV项目的学习，在读取训练数据集模型时遇到了一些困难。
刚开始在做Mnist手写数字识别的时候，蠢萌地用plt.imread方法把所有图片都读取到一个np数组里，做了一个shape = (2000x28x28)的ndarray，再把其作为input输入到模型里，这样的方法确实能够实现图片数据的预处理，但是未免也太麻烦了
今天在看百度的paddlepaddle框架示例代码的时候发现人家有专门的reader用于从文件夹里面读取图片直接输入到模型中，我就想,keras肯定也有类似的方法，就到网上找，果然找到了，keras里面对包含图片的文件夹读取的方法如这里面介绍的：
keras-02 浅谈数据集的制作和加载
（链接里面除了图片文件外，还讲了用csv和h5py文件保存图片和标签并进行加载的方法）
具体就是用到了keras.preprocessing.image里面的ImageDataGenerator类。
首先实例化生成器

train_datagen = ImageDataGenerator(featurewise_center=True,
    featurewise_std_normalization=True,
    rotation_range=20,
    width_shift_range=0.2,
    height_shift_range=0.2,
    horizontal_flip=
最低0.47元/天 解锁文章
Sawakita1122
关注
  • 6
    点赞
  • 踩
  • 30
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
神经网络训练图片数据集读取方法(一)—TFRecords
qq_41120234的博客
03-11 7213
神经网络训练图片数据集读取方法—TFRecords（python） 之前学习过神经网络的建模过程，以及做过一些简单的练习，但是直到最近我要训练自己的数据才意识到我不知道怎么把图片输入到神经网络模型中进行训练。 我们在学习神经网络的时候，一般都会用MNIST数据集，这是一个经过处理的的数据集，所以怎么训练我们自己的图片数据集呢？ 我想记录学习的过程。 ...
使用Pytorch读取自己的图像训练集
weixin_44615893的博客
07-15 3938
使用Pytorch读取自己的图像训练集 在练手CNN的时候，样例数据集往往是现有的数据集，而如果我们需要使用自己的图像来训练，那么就要自己写代码生成。 以猫狗大战数据集为例（https://www.kaggle.com/c/dogs-vs-cats/overview），训练集压缩包中猫狗图像各一万余张。 解压到你选择的目录下，例如：‘…/dogs-vs-cats/train’ 然后为每个类别各生成一个文件夹，我设定 cat=0，dog=1，即所有猫的图片放在 ‘…/dogs-vs-cats/train/0’
keras中文文档_Keras做图片分类（二）：图片的分批读取和数据增强
weixin_39930557的博客
11-27 396
理想情况下，如果我们拥有无限多的样本，就可以训练出近乎完美的模型。但是绝大多数情况下这是不现实的，我们拿到的是有限的样本，样本量不足会导致模型过分的专注于这些样本的学习而不能够得到鲁棒性好、泛化能力强的模型，即会产生过拟合问题。实际上，在深度学习的训练中，过拟合倒不是问题，因为我们在训练模型时都要将之训练到过拟合来查看当前模型当前样本的极限在哪里，我们只需保存到loss最低效果最好的模型权重即可。...
自定义数据集类读取本地图片，并能够用来训练模型
weixin_49899130的博客
03-23 210
自定义数据集类读取本地图片，并能够用来训练模型
TensorFlow2.X之使用图片制作简单的数据集训练模型
FlyDremever
04-06 5327
Tensorflow2.x之使用自己的数据集训练模型 Tensorflow内置了许多数据集，但是实际自己应用的时候还是需要使用自己的数据集，这里TensorFlow 官网也给介绍文档，官方文档。这里对整个流程做一个总结（以手势识别的数据集为例）。 1、 收集手势图片 方法多种多样了。我通过摄像头自己采集了一些手势图片。保存成如下形式， 以同样的形式在建立一个测试集，当然也可以不弄，在程序里处理...
使用 Keras 的 ImageDataGenerator 划分训练集和测试集
/dev/null
08-02 2426
Keras的ImageDataGenerator可以方便的读入文件夹中的图片并自动生成训练数据 . 如果图片已经被分成训练集和测试集两个文件夹, 可以独立创建两个ImageDataGenerator. 但是在很多情况下, 作者提供的数据集并不区分训练集和测试集, 这时候也可以使用ImageDataGenerator. 假设当前目录下有一个 Mushrooms数据集, 里面有9个子文件夹, 分别是9种蘑菇. 可以使用以下代码将生成ImageDataGenerator, 把数据集分成70%训练集和30%测试集.
课程设计-基于Keras搭建一个简单的卷积神经网络CNN，用猫狗数据集和花卉数据集对CNN进行训练，完成模型的保存加载和识别
最新发布
06-07
基于Keras搭建一个简单的卷积神经网络CNN，用猫狗数据集和花卉数据集对CNN进行训练，完成模型的保存和加载和识别测试。 环境： CUDA：11.6.134 cuDNN：8.4.0 keras：2.9.0 tensorflow：2.9.1 注意： 项目内目录中...
使用keras内置的模型进行图片预测实例
09-16
对于初学者和专业人士来说，Keras 提供了一系列内置的预训练模型，这些模型已经在大规模数据集如 ImageNet 上进行了训练，可以用于图像识别任务。在本文中，我们将深入探讨如何使用 Keras 的内置模型进行图片预测。 ...
python 训练集 测试集 验证集划分_将自己的图片数据集分成训练集、验证集和测试集并用 Tensorflow2.0 导入...
weixin_39768371的博客
12-13 3321
文章目录项目介绍划分数据集1、在 dataset 目录下创建三个文件夹2、将原来 dataset 文件夹中的子文件夹分别复制到这三个文件夹中3、在 python 中指定所有路径4、将这三个文件夹中所有子文件夹中的图片删除5、将 dataset 目录下子文件中的原始图片按比例分到三个文件夹中5.1 划分 96 张图片给 train 文件夹5.2 划分 32 张图片给 test 文件夹5.3 划分 3...
使用Keras中ImageDataGenerator进行批次读图
bendaxi的博客
04-30 3250
ImageDataGenerator位于keras.preprocessing.image模块当中,可用于做数据增强,或者仅仅用于一个批次一个批次的读进图片数据.一开始以为ImageDataGenerator是用来做数据增强的,但我的目的只是想一个batch一个batch的读进图片而已,所以一开始没用它,后来发现它是有这个功能的,而且使用起来很方便. ImageDataGenerator类包含了...
网上爬取图片制作成数据集进行训练
jane_6091的博客
08-21 5940
一、用pthon爬取图片 如图： 创建一个文件夹，下放每一类的文件夹（我的绝对路径是：/home/user/dataset/） 在每一个class下面，创建一个test.py文件，用以爬取图片 # coding=utf-8 """根据搜索词下载百度图片""" import re import sys import urllib import requests def g...
Keras DataGenerator with Multi-workers 加速读取训练数据（从单一数据集文件夹中读取）
kouwang9779的博客
04-07 447
Keras DataGenerator with Multi-workers 加速读取训练数据（从单一数据集文件夹中读取） 描述 训练集比较大的时候需要使用multi-workers来加速数据集的读取，如果已经预先进行了数据集的平衡工作并将训练所需的数据集都存在了一个文件夹下，则可用此博文的代码实现数据读取加速。如果读者需要对多个不等长的数据集文件夹同时进行读取，则请参考博文Keras DataGenerator with Multi-workers 加速读取训练数据（同时从多个不等长数据文件夹中读取） 代
Keras CNN 训练数据（一）：图片预处理
weixin_44109874的博客
07-10 1828
图片预处理包括重新定义图片的名称、重新定义图片的大小以及将图片加载到列表、图像和标签 重新定义图片名称的代码如下： import os import numpy as np from PIL import Image #重新命名 def FileRename(DogType,FilePath): #DogType: 图片的种类 #FilePath: 图片的路径 ty...
keras如何批量读取图片_python 图片读取 常用操作方法
weixin_36037417的博客
02-17 578
图片读取与保存cv2.imreadimport cv2im = cv2.imread(img_path) # 若无法读取，返回 None， cv2.imread(path, flags) flags: cv2.IMREAD_COLOR, cv2.IMREAD_GRAYSCALE, cv2.IMREAD_UNCHANGEDtype(im) # numpy.ndarrayim.shape...
keras如何批量读取图片_在图像分割任务中Keras读取大量数据的方法
weixin_35129495的博客
12-24 683
最近经常使用keras进行图像分割，小数据量时很方便，直接准备好image和mask，然后model.fit(x_train, y_train, batch_size=32, epochs=10)比较简单，但是这只是在小数据量的情况下使用。遇到大数据量，一次存入所有图像和mask会内存不够。在keras中文文档中写到了利用图片生成器ImageDataGenerator的方法，但是第一个例子和第二个...
Keras(二十三)cifar10数据集使用keras generator读取、模型训练、预测
TFATS的博客
02-28 1142
本文将介绍： 使用keras实现resnet50模型 实现迁移学习-finetune 一，下载kaggle-cifar10数据 通过下面的链接，下载dataset到本地目录cifar10中 kaggle-cifar10下载地址 二，
ImageDataGenerator读取的数据集转Numpy array
qq_44980390的博客
06-18 835
ImageDataGenerator读取的数据集转Numpy array 常用的数据集类型可以分为两种： （1）一种是网上的经典数据集，比如mnist，一般会给写好的读取方法，比如mnist.load_data()，读取出来的返回值是Numpy array； （2）一种是自己本地的数据集，路径下每个文件夹代表一类图像，目录结构类似于 data --type1 ----img1-1 ----img1-2 --type2 ----img2-2 ----img2-2 --type3 ----img3-2 ----
完整实现利用keras训练自己的图片数据集
Frank330的博客
04-12 4640
本实验可以实现使用卷积神经网络对自己的数据集（图片）进行训练并得出训练时的准确率与loss图，并利用测试集得到混淆矩阵、ROC曲线图和AUC。 编程环境为python3.7.4 代码文件结构如下： Dataset文件夹用来存放数据集 Log文件夹用来存放准确率和loss曲线图 Model文件夹用来存放训练好的卷积神经网络模型，训练好后以后使用可以直接调用模型，不必每次都训练 Main为主程序 Dataset文件夹里面有训练集train和测试集test两个文件夹，train文件夹数据用来训练
我有两个图片文件夹,一个文件夹为窃电用户图像,另外一个文件夹为非窃电文件夹。请帮我写出用ImageDataGenerator生成数据集的代码，并划分训练集、验证集和测试集
06-05
当然可以！以下是用`ImageDataGenerator`生成数据集的代码，并划分训练集、验证集和测试集： ```python import os from keras.preprocessing.image import ImageDataGenerator # 设置文件夹路径 train_dir = 'path/to/train' val_dir = 'path/to/validation' test_dir = 'path/to/test' # 设置图像参数 img_width, img_height = 224, 224 batch_size = 32 num_classes = 2 # 定义ImageDataGenerator train_datagen = ImageDataGenerator( rescale=1./255, shear_range=0.2, zoom_range=0.2, horizontal_flip=True) val_datagen = ImageDataGenerator(rescale=1./255) test_datagen = ImageDataGenerator(rescale=1./255) # 定义训练集、验证集和测试集的生成器 train_generator = train_datagen.flow_from_directory( train_dir, target_size=(img_width, img_height), batch_size=batch_size, class_mode='categorical') val_generator = val_datagen.flow_from_directory( val_dir, target_size=(img_width, img_height), batch_size=batch_size, class_mode='categorical') test_generator = test_datagen.flow_from_directory( test_dir, target_size=(img_width, img_height), batch_size=batch_size, class_mode='categorical') # 划分训练集、验证集和测试集 train_samples = train_generator.samples val_samples = val_generator.samples test_samples = test_generator.samples print("Total number of samples in the training set: ", train_samples) print("Total number of samples in the validation set: ", val_samples) print("Total number of samples in the test set: ", test_samples) train_steps = train_samples // batch_size val_steps = val_samples // batch_size test_steps = test_samples // batch_size print("Total number of steps in the training set: ", train_steps) print("Total number of steps in the validation set: ", val_steps) print("Total number of steps in the test set: ", test_steps) ``` 在这个代码中，我们首先设置了文件夹路径、图像参数和批次大小等。然后，我们使用`ImageDataGenerator`来定义训练集、验证集和测试集的生成器，这些生成器会自动从文件夹中读取图像，并进行数据增强和归一化等操作。最后，我们使用`flow_from_directory`函数来生成数据集，并使用`samples`属性来获取数据集的总样本数。我们还使用整除运算符`//`来计算每个数据集的步数，以便在训练模型时使用。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值