Tensorflow2.0 tf.data.Dataset.from_tensor_slices 自定义图像数据集 (一)

要利用Tensorflow或者Pytorch实现深度学习过程的第一步就是图像数据集的加载。

Tensorflow

图像数据集加载

从tf.keras.util下载五类花数据集合

data_dir = tf.keras.utils.get_file(origin='https://storage.googleapis.com/download.tensorflow.org/example_images/flower_photos.tgz',
                                         fname='flower_photos', untar=True)

下载完成后，查看数据集的目录位置，可以看到flower_photos目录下有五类花对应的子目录，其中有对应的花.jpg图片。这就是一个标准的图像分类数据集合的存储格式。

import pathlib
data_root = pathlib.Path(data_dir)
print(data_root)

图片路径和标签读取

读取所有图像检索路径，注意不是读取图像数据

import random 
all_image_paths = list(data_root.glob('*/*')) # 所有子目录下图片
all_image_paths = [str(path) for path in all_image_paths]
random.shuffle(all_image_paths) #打乱数据
print(len(all_image_paths))

根据子目录名称建立分类字典

label_names = sorted(item.name for item in data_root.glob('*/') if item.is_dir())#读取目录并排序为类别名
label_to_index = dict((name, index) for index, name in enumerate(label_names))#创建类别字典
all_image_labels = [label_to_index[pathlib.Path(path).parent.name]
                    for path in all_image_paths] #图像parent path 对应类

图像预处理

读取、解码、Resize、根据情况选择数据增强、标准化方法

def preprocess_image(path):
    image_size=224
    image = tf.io.read_file