使用 Keras 的 ImageDataGenerator 划分训练集和测试集

最新推荐文章于 2024-07-29 09:54:05 发布

小林书店副编集

最新推荐文章于 2024-07-29 09:54:05 发布

阅读量2.4k

点赞数 6

分类专栏： TensorFlow/Keras

本文链接：https://blog.csdn.net/songbaiyao/article/details/107739825

版权

本文介绍了如何利用Keras的ImageDataGenerator工具，在没有预先划分的训练集和测试集的情况下，从包含多种类别的图片数据集中自动生成训练和测试数据。通过示例代码展示了如何将数据集按70%:30%的比例划分为训练集和测试集。

摘要由CSDN通过智能技术生成

Keras的ImageDataGenerator可以方便的读入文件夹中的图片并自动生成训练数据 . 如果图片已经被分成训练集和测试集两个文件夹, 可以独立创建两个ImageDataGenerator. 但是在很多情况下, 作者提供的数据集并不区分训练集和测试集, 这时候也可以使用ImageDataGenerator.

假设当前目录下有一个 Mushrooms数据集, 里面有9个子文件夹, 分别是9种蘑菇. 可以使用以下代码将生成ImageDataGenerator, 把数据集分成70%训练集和30%测试集.

注意代码中关键的validation_split和subset

data_dir = 'Mushrooms'
train_datagen = ImageDataGenerator(
        rescale=1./255,
        shear_range=0.

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

小林书店副编集

关注关注

6
点赞
踩
13

收藏

觉得还不错? 一键收藏
1
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

专栏目录

tensorflow2 搭建神经网络六步法

weixin_44111377的博客

09-21

801

import tensorflow as tf import os import numpy as np from matplotlib import pyplot as plt np.set_printoptions(threshold=np.inf) mnist = tf.keras.datasets.mnist (x_train, y_train), (x_test, y_test) = mnist.load_data() x_train, x_test = x_train / 255.0, x_

划分训练集，验证集和测试集（keras）

wasui7的博客

02-20

4255

划分80%的训练集，10%的验证集，10%的测试集 使用skleran的train_test_split进行划分，分两次进行。 import train_test_split from sklearn x_train, x_test, y_train, y_test = train_test_split(X, Y, test_size = 0.20, random_state = 0) x_test, x_valid, y_test, y_valid = train_test_split(x_test, y

1 条评论您还未登录，请先登录后发表或查看评论

深度学习中的高效数据预处理技巧

最新发布

乘风之行

07-29

451

在构建深度学习模型时，数据预处理是至关重要的步骤之一。高质量的数据预处理可以显著提高模型的性能并加速训练过程。本文将探讨几种有效的数据预处理技巧，包括数据清洗、特征归一化和数据增强，并通过实际的Python代码示例进行说明。

用Keras中的ImageDataGenerator 将数据集划分为训练集和验证集

DVFETGSS的博客

05-11

1054

我们可以直接使用ImageDataGenerator函数中的validation_split这个参数直接将数据集划分为训练集和验证集。他允许我们从数据集中随机生成作为训练集和验证集的子集，并且根据自己的需要去调整比例。 TRAIN_DIR = './datasets/training' datagen = ImageDataGenerator(validation_split=0.3, rescale=1./255) 当我们在调用flow_from_directory的时候，我们要通过subset来选

基于Keras实现训练集与测试集的划分

starlet_kiss的博客

07-28

2860

就在博主的上几篇博客中，遇到训练集和测试集划分的情况时，还是手动划分的。如果需要划分的文件夹数目众多，例如这一次的gesture文件夹中，有24个子文件夹，如果手动划分，耗时太久。在很多情况下，数据时没有划分成训练集和测试集两部分的，因此需要自己划分。基于Keras中的ImageDataGenerator，可以实现这样的操作。 1.数据集路径和文件夹中的子文件夹分布如上图所示。其中每个文件夹中有500+张图片，总共是10000+张图片 2.划分训练集和测试集 ①导入数据集所在路径 data_dir =

【机器学习】划分训练集和测试集的方法

TwcatL_tree

11-19

5675

在机器学习中，我们的模型建立完成后，通常要根据评估指标来对模型进行评估，以此来判断模型的可用性。而评估指标主要的目的是让模型在未知数据上的预测能力最好。因此，我们在之前，要对训练集和测试集进行划分。划分为两个互斥的的集合，其中一个集合作为，另一个作为。

python 训练集 测试集 验证集划分_将自己的图片数据集分成训练集、验证集和测试集并用 Tensorflow2.0 导入...

weixin_39768371的博客

12-13

3351

文章目录项目介绍划分数据集1、在 dataset 目录下创建三个文件夹2、将原来 dataset 文件夹中的子文件夹分别复制到这三个文件夹中3、在 python 中指定所有路径4、将这三个文件夹中所有子文件夹中的图片删除5、将 dataset 目录下子文件中的原始图片按比例分到三个文件夹中5.1 划分 96 张图片给 train 文件夹5.2 划分 32 张图片给 test 文件夹5.3 划分 3...

图片划分训练集和测试集

11-29

1. 使用Python的scikit-learn库进行划分，可以实现分层抽样，即按照类别比例划分训练集和测试集。示例代码如下： ```python from sklearn.model_selection import train_test_split import os import shutil # ...

keras ImageDataGenerator类的基本函数使用介绍（3）flow_from_dataframe函数实例

chenvvei的博客

04-17

3504

（1）flow_from_dataframe函数实例 keras中文官方文档flow_from_dataframe（） flow_from_dataframe作者原文转载自 flow_from_dataframe（）我们需要train训练集图片文件都放在一个文件夹里，然后csv文件的形式是文件名对应类标签，然后调用flow_from_dataframe（）就可以传入该csv文件名和图像所在的文件夹传入x_col: 字符串，dataframe 中包含目标图像文件夹的目录的列。 y_c

将自己的图片数据集分成训练集和测试集并用 Tensorflow2.0 导入

cocofisher的博客

07-18

6161

在下载完一个数据集后，很多朋友会为如何划分出训练集、验证集和测试集而烦恼，这篇文章将详细介绍如何划分数据集并将其用于模型训练。

tensorflow训练集及测试集的4种分割方式

种一棵树最好的时间是十年前，其次是现在

03-13

4197

1.手动切割，返回numpy，从0到9中不放回取5个数 choiseIndex = np.random.choice([x for x in range(10)], 5) 2.sklearn包： from sklearn.model_selection import train_test_split # 加载数据 xData = [] yLabel = [] with h5py.File("C:/Users/25360/Desktop/model/myTextData", 'r') as d: x

【深度学习】使用Tensorflow和Keras对本地数据集进行图像分类以及性能调优

weixin_45568812的博客

11-17

1171

本程序的目的是利用tensorflow框架进行图像分类要点：1. 本地准备数据集2. 利用tensorflow tf.keras.utils.image_dataset_from_directory将本地文件生成Dataset对象3. 利用Dataset.to_numpy()将验证数据集的images和labels转换成numpy数组，以便验证预测的正确性4. 使用自定义优化器在训练过程中随训练次数降低学习率，防止过拟合5. 使用数据集中的充分打乱和重复数据，防止过拟合。

深度学习框架Keras使用心得

热门推荐

xjcvip007的博客

10-12

4万+

最近几个月为了写小论文，题目是关于用深度学习做人脸检索的，所以需要选择一款合适的深度学习框架，caffe我学完以后感觉使用不是很方便，之后有人向我推荐了Keras，其简单的风格吸引了我，之后的四个月我都一直在使用Keras框架，由于我用的时候，tensorflow的相关教程还不是很多，所以后端我使用theano。这次的心得主要分成两篇，第一篇是聊聊开始使用keras容易遇到的坑，第二篇会在我论文发了之后，连同代

keras的图像预处理全攻略（四）—— ImageDataGenerator 类实践案例

MIss-Y的博客

05-13

2万+

前言：前面已经详细介绍了keras整个图像预处理模块的详细流程，参见下面两篇文章： keras的图像预处理全攻略（二）—— ImageDataGenerator 类 keras的图像预处理全攻略（三）—— ImageDataGenerator 类的辅助类本文结合实际案例来说说明到底该怎么应用ImageDataGenerator 类以及需要注意的一些事项一、图像分类问题中Im...

利用ImageDataGenerator构建数据集

Drknown的博客

11-25

3769

ImageDataGenerator属于Keras的图片预处理模块，在Tensorflow 2.0中已集成了Keras的API。本文利用ImageDataGenerator来完成一个基本的机器学习流程：检查并了解数据建立输入管道建立模型训练模型测试模型改进模型并重复该过程 1. 检查并了解数据：导入必要的package from __future__ i...

深度学习6 基于ImageDataGenerator的数据集划分

a486259的博客

03-26

2535

基于keras的ImageDataGenerator，在划分数据集时不需要人为的把数据分为两部分，可以通过设置datagen.flow_from_directory的subset='validation'或'training'来实现，其中的seed是随机种子控制读取数据的顺序。 1、面向分类任务的数据集划分 from keras.preprocessing.image import ImageDataGenerator datagen = ImageDataGenerator(rescale=1.0/

用Keras ImageDataGenerator生成器读取一整个文件夹的图片作为训练集，并用测试集的图片文件夹进行预测和评估

qq_26606467的博客

04-03

3620

用Kerasgenerator类读取一整个文件夹的图片作为训练集，并用测试集的图片文件夹进行预测和评估近期在使用keras框架进行CV项目的学习，在读取训练数据集模型时遇到了一些困难。刚开始在做Mnist手写数字识别的时候，蠢萌地用plt.imread方法把所有图片都读取到一个np数组里，做了一个shape = (2000x28x28)的ndarray，再把其作为input输入到模型里，这样的...

训练集、测试集和验证集(使用sklearn进行划分)

bqw的博客

04-21

4万+

一、训练集和测试集1. 概念我们训练机器学习模型，目的是使用已有数据来预测未知的数据，通常我们称模型对未知数据的预测能力称为泛化能力。为了评估一个模型的泛化能力，通常我们会将数据分成训练集和测试集，训练集用来训练模型，测试集用来评估模型的泛化能力。2. 使用sklearn划分训练集和测试集from sklearn.model_selection import train_te...