要利用Tensorflow或者Pytorch实现深度学习过程的第一步就是图像数据集的加载。
这里写目录标题
Tensorflow
图像数据集加载
从tf.keras.util下载五类花数据集合
data_dir = tf.keras.utils.get_file(origin='https://storage.googleapis.com/download.tensorflow.org/example_images/flower_photos.tgz',
fname='flower_photos', untar=True)
下载完成后,查看数据集的目录位置,可以看到flower_photos目录下有五类花对应的子目录,其中有对应的花.jpg图片。这就是一个标准的图像分类数据集合的存储格式。
import pathlib
data_root = pathlib.Path(data_dir)
print(data_root)
图片路径和标签读取
读取所有图像检索路径,注意不是读取图像数据
import random
all_image_paths = list(data_root.glob('*/*')) # 所有子目录下图片
all_image_paths = [str(path) for path in all_image_paths]
random.shuffle(all_image_paths) #打乱数据
print(len(all_image_paths))
根据子目录名称建立分类字典
label_names = sorted(item.name for item in data_root.glob('*/') if item.is_dir())#读取目录并排序为类别名
label_to_index = dict((name, index) for index, name in enumerate(label_names))#创建类别字典
all_image_labels = [label_to_index[pathlib.Path(path).parent.name]
for path in all_image_paths] #图像parent path 对应类
图像预处理
读取、解码、Resize、根据情况选择数据增强、标准化方法
def preprocess_image(path):
image_size=224
image = tf.io.read_file