读取data中数据集到dataset中

dataset ==map()
dataset 是一个 iterator (列表引子)
tf.data.Dataset.from_tensor_slices 将样本集中每一个样本|按行拆分样本集
拆分为 一个一个的样本,放在列表中迭代器中

import tensorflow as tf
import os

AUTOTUNE = tf.data.experimental.AUTOTUNE
num_epochs = 10
batch_size = 32
learning_rate = 0.001

#设置数据集位置
data_dir = os.getcwd() + os.sep + 'minidata/minidata'
train_cats_dir = data_dir + '/train/cats'
train_dogs_dir = data_dir + '/train/dogs'
#借助文件名获取指定的图片,还要同时给出对应的标签信息
def get_image_by_filename(filename,label):
    image_data = tf.io.read_file(filename)
    image_jpg = tf.image.decode_jpeg(image_data)
    image_resized = tf.image.resize(image_jpg, [256,256])
    image_scale = image_resized/255.0
    return image_scale, label

if __name__ == '__main__':
    tf_train_cats_filenames = tf.constant([train_cats_dir + '/' + filename for filename in os.listdir(train_cats_dir)])
    tf_train_dogs_filenames = tf.constant([train_dogs_dir + '/' + filename for filename in os.listdir(train_dogs_dir)])
    #拼接
    tf_train_feature_filenames = tf.concat([tf_train_cats_filenames,tf_train_dogs_filenames],axis = -1)
    
    tf_cats_labels = tf.zeros(tf_train_cats_filenames.shape,dtype = tf.int32)
    tf_dogs_labels = tf.ones(tf_train_dogs_filenames.shape,dtype = tf.int32)
    tf_train_labels = tf.concat([tf_cats_labels,tf_dogs_labels],axis = -1)
    
    train_dataset = tf.data.Dataset.from_tensor_slices((tf_train_feature_filenames,tf_train_labels))
    #map
    train_dataset = train_dataset.map(map_func=get_image_by_filename, num_parallel_calls=AUTOTUNE)
    for f,l in train_dataset:
        print(f.numpy(), l.numpy())

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

*应似飞鸿踏雪泥*

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值