keras的图像预处理全攻略（四）—— ImageDataGenerator 类实践案例

前言：前面已经详细介绍了keras整个图像预处理模块的详细流程，参见下面两篇文章：

keras的图像预处理全攻略（二）—— ImageDataGenerator 类

keras的图像预处理全攻略（三）—— ImageDataGenerator 类的辅助类

本文结合实际案例来说说明到底该怎么应用 ImageDataGenerator 类以及需要注意的一些事项

一、图像分类问题中ImageDataGenerator 类的flow方法的应用

二、图像分类问题中ImageDataGenerator 类的flow_from_directory方法应用

三、对于分割数据集使用ImageDataGenerator类

一、图像分类问题中ImageDataGenerator 类的flow方法的应用

我们经常遇见一些分类问题，往往由于数据量较小的原因，导致模型很容易过拟合，所以需要进行数据增强，本文以最简单的mnist手写字为例子来加以说明ImageDataGenerator 类的简单应用。再说明之前，我们学要结合系列文章的第二篇的相关知识点，ImageDataGenerator 类的使用分为“四步走”策略。

1.1 第一步：数据集的划分，得到x_train,y_train,x_test,y_test；

from keras.preprocessing.image import ImageDataGenerator

from keras.datasets import mnist
from keras.datasets import cifar10
from keras.utils import np_utils

import numpy as np
import matplotlib.pyplot as plt


# 第一步：划分数据集。得到x_train,y_train,x_test,y_test；
num_classes = 10
(x_train, y_train), (x_test, y_test) = mnist.load_data()

x_train = np.expand_dims(x_train, axis = 3)
y_train = np_utils.to_categorical(y_train, num_classes)
y_test = np_utils.to_categorical(y_test, num_classes)

print(np.shape(x_train))  #返回(60000, 28, 28, 1)
print(np.shape(x_test))   #返回(10000, 28, 28)，因为这里没有对测试数据进行维度扩充，这里不需要使用到测试数据，所以没管它
print(np.shape(y_train))  #返回(60000, 10)
print(np.shape(y_test))   #返回(10000, 10)
print("======================================================")

注意：由于mnist.npz会默认没有的，需要下载，但是国内下载实在是太慢，所以我是已经下载好了并且保存在了用户文件夹之下的.keras/datasets里面了。所以不需要下载的，网上有很多的下载资源，也可以找我要数据，大改10M。

1.2 第二步：构造ImageDataGenerator对象

其中要进行某一些操作是通过在构造函数中的参数指定的，datagen = ImageDataGenerator(......)

#第二步骤：构造ImageDataGenerator类的对象，通过参数指定要进行处理项目
#对数据进行预处理，注意这里不是一次性要将所有的数据进行处理完，而是在后面的代码中进行逐批次处理
datagen = ImageDataGenerator(
     featurewise_center=True,
     featurewise_std_normalization=True,
     rotation_range=20,
     width_shift_range=0.2,
     height_shift_range=0.2,
     horizontal_flip=True)

1.3 第三步：对样本数据进行data augmentation处理，通过fit方法

#第三步：对需要处理的数据进行fit
datagen.fit(x_train)

1.4 产生迭代对象，通过flow方法，并且查看每一次迭代对象的信息

#第四步：使用.flow方法构造Iterator， 
data_iter = datagen.flow(x_train, y_train, batch_size=8,save_to_dir="save_data")  #返回的是一个“生成器对象”
print(type(data_iter))    #返回的是一个NumpyArrayIterator对象

 
# 通过循环迭代每一次的数据，并进行查看
for x_batch,y_batch in data_iter:
    for i in range(8):
        plt.subplot(2,4,i+1)
        plt.imshow(x_batch[i].reshape(28,28), cmap='gray')
    plt.show()

这里是核心点，有几个需要注意的地方：

（1）迭代器的数据格式

我们通过ImageDataGenerator类来对训练数据做处理，目的是产生一个迭代器，然后将每一次迭代产生的数据放进model.fit_generator()里面进行训练，而迭代器的数据格式如下：

• 一个 (inputs, targets) 元组
• 一个 (inputs, targets, sample_weights) 元组。

（2）flow函数save_to_dir参数

这个参数会将没一个批次所进行data augmentation之后的图像保存在指定的文件夹，它的作用是方便对于处理之后的图像进行查看。比如我上面保存到了当前文件之下的save_data文件夹里面。

（3）迭代器可以通过for进行循环，我也可以直接通过next()方法来进行迭代，上面的第四步等价与下面的代码：

while True:
    x_batch, y_batch = data_iter.next()
    for i in range(8):
        plt.subplot(2,4,i+1)
        plt.imshow(x_batch[i].reshape(28,28), cmap='gray')
    plt.show()

（4）flow是无限迭代的。也就是说每一次迭代8组样本，等一个轮回迭代完之后依然会继续重新迭代，不会自己停止。

记住：flow()、flow_from_dataframe()、flow_from_directory()都是无限迭代的。

但是这个地方一直有一个问题，我还没找到答案，望大神告知！

如果总的样本数samples能够被batch_size整除，那么恰好可以每一次都恰好对batch_size个样本进行处理，这样当所有的样本都处理完之后，又会进入下一次循环迭代，即迭代不会终止；但是如果样本数samples不能够被batch_size整除，那么最后一个batch_size会少几个样本，这样在所有的样本数迭代完成一次之后就不再循环迭代了，也就是所有的样本只迭代一次，这倒是怎么回事，我还不太清楚，我是在实验中尝试得出的结果，网友大神告知，谢谢！

1.5 运行结果展示

由于图片很多，每一次仅仅只处理8张图片，所以每次要查看很多次才能将所有的样本数据完全看完，本文在运行了三次迭代器之后就停止了程序的运行，得到的运行结果，和保存的数据展示如下：

这是三次迭代，每一次迭代产生的8张图片，我自己保存的sav_data文件夹之下的24张图片如下：

二、图像分类问题中ImageDataGenerator 类的flow_from_directory方法应用

为了演示flow_from_dirctory()方法的效果，本文没有使用其它的训练数据集，自己随便找几张图片做实验就可以了。

本试验依然是以分类问题为背景，自己选择了15张约翰逊斯嘉丽的图片作为训练数据集，15张图片分为三类，分别是happy、smile、silent，另外下载了5张图片作为测试集，类别是一样的这三类，文件夹的组织结构如下所示：

├─Scarlett_Johansson_test
│  ├─happy
│  │      2001.jpg
│  │
│  ├─silent
│  │      2002.jpg
│  │      2003.jpg
│  │
│  └─smile
│          2004.jpg
│          2005.jpg
│
└─Scarlett_Johansson_train
    ├─happy
    │      1006.jpg
    │      1007.jpg
    │      1008.jpg
    │      1009.jpg
    │      1010.jpg
    │
    ├─silent
    │      1011.jpg
    │      1012.jpg
    │      1013.jpg
    │      1014.jpg
    │      1015.jpg
    │
    └─smile
            1001.jpg
            1002.jpg
            1003.jpg
            1004.jpg
            1005.jpg

即Scarlett_Johansson_data数据文件夹之下分为Scarlett_Johansson_test和Scarlett_Johansson_train两个文件夹，这两个文件夹之下没一个里面都包含smile、happy、silent三个类别的子文件夹，每一个字文件夹之下都保存着相应的样本数据。

下面开始写代码：

2.1 第一步：构建ImageDataGenerator类的对象

from keras.preprocessing.image import ImageDataGenerator
import numpy as np
import matplotlib.pyplot as plt

#第一步：对测试数据和训练数据分别构造一个ImageDataGenerator对象
train_datagen = ImageDataGenerator(
        rescale=1./255,
        shear_range=0.2,
        zoom_range=0.2,
        horizontal_flip=True)

test_datagen = ImageDataGenerator(rescale=1./255)

2.2 第二步：调用flow_from_directory方法

#第二步：分别对训练数据和测试数据使用flow_from_directory方法
train_generator = train_datagen.flow_from_directory(
        'Scarlett_Johansson_data/Scarlett_Johansson_train',
        target_size=(150, 150),    #将图片大小转化为150x150
        batch_size=5,              #每一次处理6张图片
        class_mode='categorical',  #对类别进行独热编码
        save_to_dir="Scarlett_Johansson_data_augmentation", #将augmentation之后的图片保存
        save_prefix="sjl_")        #将augmentation之后的图片添加sjl_前缀

validation_generator = test_datagen.flow_from_directory(
        'Scarlett_Johansson_data/Scarlett_Johansson_test',
        target_size=(150, 150),
        batch_size=2,    
        class_mode='binary')

print('##############################################################')

注意：本例子中一共有三个类别，及三个不同的文件夹smile、happy、silent，程序会自动判别一共有3各类型，这里有一个很重要的参数class_mode，

如果class_mode==“binary”,则输出的类别是0,1,2，来分别表示三个类，

如果是class_mode==“'categorical”，则这三个类别会用独热编码的方式来表示，即【0,0,1】、【0,1,0】、【1，0,0】.

2.3 第三步：迭代训练数据

这里只对训练数据train_generator进行迭代，由于一共只有15组训练样本，所以每一次迭代5组样本，恰好可以除尽，这样可以循环迭代而不终止。本文选择迭代9次，即每个样本共产生3个数据增强的样本，共产生15*3=45组样本。代码如下：

#第三步：迭代查看,这里只查看训练数据集的，测试数据集的就不管了
count=1
for x_batch,y_batch in train_generator:
    print(F"------------开始第{count}次迭代-----------------------------")
    print(F"------------x_batch、y_batch的形状如下----------------------")
    print(np.shape(x_batch),np.shape(y_batch))
    print('-------------y_batch打印结果如下-----------------------------')
    print(y_batch)
    print('============================================================')

    #将每次augmentation之后的5幅图像显示出来
    for i in range(5):
        plt.subplot(1,5,i+1)
        plt.imshow(x_batch[i].reshape(150,150,3))
        plt.savefig("Scarlett_Johansson_data_iter_time/iter_time_"+str(count)+".png",format="png")
    plt.show()
    count+=1

程序运行的结果如下：

'''
Using TensorFlow backend.
Found 15 images belonging to 3 classes. #这是调用train_datagen.flow_from_directory()后打印的
Found 5 images belonging to 3 classes. ##这是调用test_datagen.flow_from_directory()后打印的
##############################################################
------------开始第1次迭代-----------------------------
------------x_batch、y_batch的形状如下----------------------
(5, 150, 150, 3) (5, 3)
-------------y_batch打印结果如下-----------------------------
[[0. 0. 1.]
 [0. 1. 0.]
 [0. 1. 0.]
 [0. 0. 1.]
 [0. 1. 0.]]
============================================================
.
.
.  中间的省略了，一共迭代了9次
.
.
------------开始第9次迭代-----------------------------
------------x_batch、y_batch的形状如下----------------------
(5, 150, 150, 3) (5, 3)
-------------y_batch打印结果如下-----------------------------
[[0. 1. 0.]
 [0. 0. 1.]
 [0. 1. 0.]
 [1. 0. 0.]
 [1. 0. 0.]]
============================================================
'''

2.4 程序运行的结果查看

（1）Scarlett_Johansson_data_iter_time文件夹——即每次迭代后使用plt预览的6张图片的文件夹

（2）Scarlett_Johansson_data_augmentation文件夹——即迭代6次，共产生了9x5=45张增强图片的效果

从上面可以看出，对15张样本数据分别都进行了三次增强，每挨着的3张图片对比可以发现，图像是不一样的，有的经过了翻转即flip操作、有的经过了缩放即zoom操作、有的经过了错切即shear操作，这其实都是来源于ImageDataGenerator中构造函数参数的指定来实现的。

三、对于分割数据集使用ImageDataGenerator类

由于只是做实验，本次是自己在voc2012数据集中只选择了15张样本数据来进行试验，只选择了三种类型，分别是飞机airplane、人person、火车car（因为火车的单词train与训练的train相同，这里就暂时使用car代替一下），文件目录的组织方式同上面的案例是一样的，如下：

├─mask_data
│  └─train
│      ├─airplane
│      │      2007_000032.png
│      │      2007_000033.png
│      │      2007_000256.png
│      │      2007_001288.png
│      │      2007_001568.png
│      │
│      ├─car
│      │      2007_000042.png
│      │      2007_000123.png
│      │      2007_000629.png
│      │      2007_000636.png
│      │      2007_004951.png
│      │
│      └─person
│              2007_000129.png
│              2007_000170.png
│              2007_000323.png
│              2007_000346.png
│              2007_000999.png
│
└─source_data
    └─train
        ├─airplane
        │      2007_000032.jpg
        │      2007_000033.jpg
        │      2007_000256.jpg
        │      2007_001288.jpg
        │      2007_001568.jpg
        │
        ├─car
        │      2007_000042.jpg
        │      2007_000123.jpg
        │      2007_000629.jpg
        │      2007_000636.jpg
        │      2007_004951.jpg
        │
        └─person
                2007_000129.jpg
                2007_000170.jpg
                2007_000323.jpg
                2007_000346.jpg
                2007_000999.jpg

注意：为什么针对分割模型这里单独拿出来，主要是因为分割模型的特殊性，它不仅有原始图像，还有与原始图像相对应的的分割标签图像，这里称之为mask图形，我对原始图形使用了某一种变换，必须给相对应的mask图形使用相同的变换进行变换，这才能保证训练数据与mask之间的一一对应关系不变。具体的实现如下：

3.1 第一步：构造ImageDataGenerator类的对象，

由于是需要对image和mask构造相同的变换，所以这里通过一个字典来构造该类的参数，如下：

from keras.preprocessing.image import ImageDataGenerator
import numpy as np
import matplotlib.pyplot as plt

#第一步：对测试数据和训练数据分别构造一个ImageDataGenerator对象
#注意：由于原始训练数据和分割数据是绑定的，有对应关系，这里要创建两个相同参数的实例
data_gen_args = dict(featurewise_center=True,
                     featurewise_std_normalization=True,
                     rescale=1./255,
                     rotation_range=90,
                     width_shift_range=0.1,
                     height_shift_range=0.1,
                     zoom_range=0.2)
image_datagen = ImageDataGenerator(**data_gen_args) #构造训练数据image的对象
mask_datagen = ImageDataGenerator(**data_gen_args)  #构造分割数据mask的对象

3.2 第二步：同时对image和mask调用flow_from_directory方法

这个地方需要注意的是，由于flow_from_directory方法会从训练数据中随机选择一个批次的图片进行变换，为了保持原始图像与分割图像mask之间的一一对应关系，需要指定一个随机数种子seed。（备注：需要懂得到底什么是伪随机数，什么时随机数种子哦？）

另外，由于这个地方只考虑如何将训练的image和分割的mask进行统一的变换，类别就先不做讨论了，所以设置

class_mode=None.

另外这里没有设置save_to_dir参数，就不保存变换之后的原始图像image和变换之后的mask图像了，后面预览一下即可

#第二步：分别对训练数据和测试数据使用flow_from_directory方法，由于伪随机性的特质，这里需要
#为原始数据和mask标注数据提供相同的种子
seed = 1

image_generator = image_datagen.flow_from_directory(
    'segment_data/source_data/train',
    batch_size=5,
    target_size=(150, 150),
    class_mode=None,  #这个地方将class_mode设置为None，即不返回类别标签
    seed=seed)

mask_generator = mask_datagen.flow_from_directory(
    'segment_data/mask_data/train',
    batch_size=5,
    target_size=(150, 150),
    class_mode=None, #这个地方将class_mode设置为None，即不返回类别标签
    seed=seed)

print('##############################################################')

3.3 第二步：同时对image和mask进行迭代

#第三步：迭代查看,这里只查看训练数据集的，测试数据集的就不管了
# 将生成器组合成一个产生图像和蒙版（mask）的生成器
train_generator = zip(image_generator, mask_generator)

count=1
#犹豫期前面没有返回类别标签，这里迭代器只返回原始图像数据和mask对应的数据
for x_batch_image,x_batch_mask in train_generator:
    print(F"------------开始第{count}次迭代-----------------------------")
    print(F"------------x_batch_image、x_batch_mask的形状如下----------------------")
    print(np.shape(x_batch_image),np.shape(x_batch_mask))
    print(x_batch_image[0])
    print('============================================================')

    #将每次augmentation之后的5幅图像显示出来
    for i in range(5):
        plt.subplot(2,5,i+1)
        plt.imshow(x_batch_image[i])  #由于本来就是（150,150,3）的格式，所以不需要再reshape了
        plt.subplot(2,5,5+i+1)
        plt.imshow(x_batch_mask[i])
        #plt.savefig("Scarlett_Johansson_data_iter_time/iter_time_"+str(count)+".png",format="png")
    plt.show()
    count+=1

这里进行五次迭代，程序运行的结果如下：

‘'''
Using TensorFlow backend.
Found 15 images belonging to 3 classes.
Found 15 images belonging to 3 classes.
##############################################################
D:\ProgramData\Anaconda3\envs\tensorflow1.10.0\lib\site-packages\keras_preprocessing\image\image_data_generator.py:699: UserWarning: This ImageDataGenerator specifies `featurewise_center`, but it hasn't been fit on any training data. Fit it first by calling `.fit(numpy_data)`.
  warnings.warn('This ImageDataGenerator specifies '
D:\ProgramData\Anaconda3\envs\tensorflow1.10.0\lib\site-packages\keras_preprocessing\image\image_data_generator.py:707: UserWarning: This ImageDataGenerator specifies `featurewise_std_normalization`, but it hasn't been fit on any training data. Fit it first by calling `.fit(numpy_data)`.
  warnings.warn('This ImageDataGenerator specifies '
------------开始第1次迭代-----------------------------
------------x_batch_image、x_batch_mask的形状如下----------------------
(5, 150, 150, 3) (5, 150, 150, 3)
============================================================
------------开始第2次迭代-----------------------------
------------x_batch_image、x_batch_mask的形状如下----------------------
(5, 150, 150, 3) (5, 150, 150, 3)
============================================================
------------开始第3次迭代-----------------------------
------------x_batch_image、x_batch_mask的形状如下----------------------
(5, 150, 150, 3) (5, 150, 150, 3)
============================================================
------------开始第4次迭代-----------------------------
------------x_batch_image、x_batch_mask的形状如下----------------------
(5, 150, 150, 3) (5, 150, 150, 3)
============================================================
------------开始第5次迭代-----------------------------
------------x_batch_image、x_batch_mask的形状如下----------------------
(5, 150, 150, 3) (5, 150, 150, 3)
============================================================
'''

注意：中间有一段警告信息，说由于我在构造ImageDataGenerator类的对象的时候，使用了

featurewise_center=True,

featurewise_std_normalization=True,

这两个参数，这就需要从这两个参数的意义说起了，可以参考我前面的系列文章（二），这里不再赘述，简单就是说这里需要使用到样本数据的统计信息，但是因为我这里没有原先的样本数据，所以就没有用，使用了上面的两个参数之后，第一步需要先使用fit()函数在样本数据上进行“拟合”（引号，明白意思就行），根据统计信息进行计算，所以这里会进行警告。

3.4 变化结果展示

从上面的结果可以看出，原始图像image和分割标注图像mask的变化是同步进行的，他们的对应关系没有被打乱。