python 训练集 测试集 验证集划分_将自己的图片数据集分成训练集、验证集和测试集并用 Tensorflow2.0 导入...

本文详细介绍了如何使用 Python 和 Tensorflow2.0 将数据集划分为训练集、验证集和测试集,以及如何利用 ImageDataGenerator 进行数据增强和模型训练,最终对模型进行评估。
摘要由CSDN通过智能技术生成

文章目录项目介绍

划分数据集1、在 dataset 目录下创建三个文件夹

2、将原来 dataset 文件夹中的子文件夹分别复制到这三个文件夹中

3、在 python 中指定所有路径

4、将这三个文件夹中所有子文件夹中的图片删除

5、将 dataset 目录下子文件中的原始图片按比例分到三个文件夹中5.1 划分 96 张图片给 train 文件夹

5.2 划分 32 张图片给 test 文件夹

5.3 划分 32 张图片给 validation 文件夹

导入图片1、构建图片生成器

2、将图片输入图片生成器

训练模型1、构建模型

2、训练模型

3、测试模型

项目介绍

在下载完一个数据集后,很多朋友会为如何划分出训练集、验证集和测试集而烦恼,这篇文章将详细介绍如何划分数据集并将其用于模型训练。

首先,我们的原始数据集如下图所示:

可见这个数据集中共有 28 类。

双击打开其中一类后如图所示:

所以一类中有 160 张图片。

我们的目的是将这些图片按照 6:2:2 的比例分别划分到 train 文件夹、test 文件夹以及 validation 文件夹中,也就是说这三个文件夹中的图片数量分别为 96 个、32 个、32 个。

划分数据集

1、在 dataset 目录下创建三个文件夹

如图所示:

2、将原来 dataset

  • 1
    点赞
  • 13
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
好的,下面是实现波士顿预测房价的代码,包括训练集验证集测试集的交叉验证: ```python import tensorflow as tf from sklearn.datasets import load_boston from sklearn.model_selection import train_test_split from sklearn.preprocessing import StandardScaler # 加载波士顿房价数据集 boston = load_boston() # 数据预处理 ss = StandardScaler() X = ss.fit_transform(boston.data) y = boston.target # 分割训练集验证集测试集 X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42) X_train, X_val, y_train, y_val = train_test_split(X_train, y_train, test_size=0.25, random_state=42) # 定义模型 model = tf.keras.Sequential([ tf.keras.layers.Dense(units=64, activation='relu', input_shape=(X_train.shape[1],)), tf.keras.layers.Dense(units=32, activation='relu'), tf.keras.layers.Dense(units=1) ]) # 编译模型 model.compile(optimizer=tf.keras.optimizers.Adam(), loss=tf.keras.losses.MeanSquaredError(), metrics=['mae']) # 训练模型 history = model.fit(X_train, y_train, epochs=100, batch_size=32, validation_data=(X_val, y_val)) # 评估模型 test_loss, test_mae = model.evaluate(X_test, y_test) print('Test Loss:', test_loss) print('Test MAE:', test_mae) ``` 代码中,我们首先加载波士顿房价数据集,并对数据进行标准化处理。然后使用`train_test_split`函数将数据集分割成训练集验证集测试集。其中,测试集占总样本的20%,训练集验证集按照3:1的比例划分。接着,我们定义了一个包含3个全连接层的神经网络模型,并使用Adam优化器和均方误差损失函数进行编译。最后,我们使用`fit`函数训练模型,并在测试集上评估模型的性能。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值