Python深度学习08——Keras实现图片转化数据并使用数据增强

 参考书目：陈允杰.TensorFlow与Keras——Python深度学习应用实战.北京:中国水利水电出版社,2021

本系列基本不讲数学原理，只从代码角度去让读者们利用最简洁的Python代码实现深度学习方法。

---

虽然很多教材或很多视频都展示了怎么构建卷积神经网络，怎么训练图片类型的数据，但是都没有教我们怎么把图片变成数据......还有如何使用图片数据的增强。Keras对于这些操作都提供了便捷的接口。

---

图片数据的载入和预处理

导入包，载入图片，查看其信息：

from keras.preprocessing.image import load_img
import matplotlib.pyplot as plt
# 载入图片
img = load_img("penguins.png")
# 显示图片信息
print(type(img))
print(img.format)
print(img.mode)
print(img.size)

依次展示了图片类型，格式，色彩模式，尺寸

可以将载入的img打印出来：

# 显示图片
plt.axis("off")
plt.imshow(img)

 

把图片转化为numpy矩阵：

from keras.preprocessing.image import img_to_array
from keras.preprocessing.image import array_to_img
#  转换成 Numpy 阵列
img_array = img_to_array(img)
print(img_array.dtype)
print(img_array.shape)

 

 763,505是图片大小，3是三种彩色通道。

还可以把数组变回图片

# 将 Numpy 阵列转换成 Image  
img2 = array_to_img(img_array)
print(type(img2))
plt.axis("off")
plt.imshow(img2)

可以将图片载入为灰色，并且裁剪为正方形。

img = load_img("penguins.png", color_mode = "grayscale",target_size=(227, 227))
# 显示图片信息
print(type(img))
plt.axis("off")
plt.imshow(img2, cmap="gray")

，

还可以将数组存为图片文件：

from keras.preprocessing.image import save_img
img = load_img("penguins.png", grayscale=True)
img_array = img_to_array(img)
save_img("penguins_grayscale.jpg", img_array)

---

数据增强

一张图片经过旋转缩放翻转调整后，虽然还是同一个物品，但是对于神经网络来说是一个全新的样本，这是样本标签和原来一样，但是X不一样，这样做可以增大样本量，并且训练模型的抗干扰能力（不是所有测试集图片都是中规中矩放好的），下面利用Keras进行数据增强。

datagen = ImageDataGenerator(
           rotation_range=40,  ##随机旋转最多40度
           width_shift_range=0.2,  #宽度随机位移20%
           height_shift_range=0.2, #高度随机位移20%
           shear_range=0.2,    #随机推移变化20%
           zoom_range=0.2,      #随机缩放
           horizontal_flip=True)  #随机翻转
i = 0
for batch_img in datagen.flow(x, batch_size=1,
                              save_to_dir="preview", #存储的文件夹名称
                              save_prefix="pen",#存储图片文件名称
                              save_format="jpeg"):#储存格式
    plt.axis("off")
    plt.imshow(batch_img[0].astype("int"))
    plt.show()
    i += 1
    if i >= 10:
        break 

 会生成各种考拉图片。

可以用下面的方法自己定义生成并且查看想要的图片

datagen = ImageDataGenerator(rotation_range=40)
#datagen = ImageDataGenerator(width_shift_range=0.2,height_shift_range=0.2)
#datagen = ImageDataGenerator(shear_range=15, fill_mode="constant")
#datagen = ImageDataGenerator(zoom_range=0.2)
#datagen = ImageDataGenerator(horizontal_flip=True,vertical_flip=True)
numOfImgs = 6
i = 0
batch_imgs = []
for batch_img in datagen.flow(x, batch_size=1):
    batch_imgs.append(batch_img[0].astype("int"))
    i += 1
    if i >= numOfImgs:
        break 
plt.figure(figsize=(8,8))
for i in range(numOfImgs):
    plt.subplot(230+1+i)
    plt.axis("off")
    plt.imshow(batch_imgs[i])
plt.show()

 

---

数据增强的案例——CIfar-10数据集

载入数据集，打乱数据集，由于数据量太大，一般笔记本可能跑不动......就只取前1w个训练集和测试集数据

import numpy as np
from keras.datasets import cifar10

# 指定随机数种子  
seed = 10
np.random.seed(seed)
#  载入数据集
(X_train, Y_train), (X_test, Y_test) = cifar10.load_data()
# 打乱 2 个 Numpy 阵列
def randomize(a, b):
    permutation = list(np.random.permutation(a.shape[0]))
    shuffled_a = a[permutation]
    shuffled_b = b[permutation]
    
    return shuffled_a, shuffled_b

X_train, Y_train = randomize(X_train, Y_train)
# 取出前 20% 的训练数据  
X_train_part = X_train[:10000]
Y_train_part = Y_train[:10000]
print(X_train_part.shape, Y_train_part.shape)

查看y里面每种类型的图片各有多少张 

# 显示每一种类别有几笔数据
unique, counts = np.unique(Y_train_part, return_counts=True)
print(dict(zip(unique, counts)))

 导入包，测试集归一化，训练集后面数据增强的时候也会归一化

from keras.preprocessing.image import ImageDataGenerator
from keras.models import Sequential
from keras.layers import Dense, Dropout, Flatten
from keras.layers import Conv2D, MaxPooling2D
from tensorflow.keras.utils import to_categorical

X_test = X_test.astype("float32") / 255
# One-hot编码
Y_train = to_categorical(Y_train)
Y_test = to_categorical(Y_test)
# 取出20%训练, 10%验证
X_train_part = X_train[:10000]
Y_train_part = Y_train[:10000]
print(X_train_part.shape, Y_train_part.shape)

生成数据增强的迭代器

#数据预处理
train_datagen = ImageDataGenerator(
           rescale=1. / 255,
           width_shift_range=0.1,
           height_shift_range=0.1,
           shear_range=0.1,
           zoom_range=0.1,
           horizontal_flip=True)

train_generator = train_datagen.flow(X_train_part, Y_train_part,batch_size=16)

 构建模型，查看信息

#定义模型
model = Sequential()
model.add(Conv2D(32, kernel_size=(3, 3), padding="same",
                 input_shape=X_train.shape[1:], activation="relu"))
model.add(MaxPooling2D(pool_size=(2, 2)))
model.add(Conv2D(64, kernel_size=(3, 3), padding="same",
                 activation="relu"))
model.add(MaxPooling2D(pool_size=(2, 2)))
model.add(Dropout(0.5))
model.add(Flatten())
model.add(Dense(256, activation="relu"))
model.add(Dropout(0.5))
model.add(Dense(10, activation="softmax"))
model.summary()   # 显示模型摘要资讯  

 编译训练

# 编译模型
model.compile(loss="categorical_crossentropy", optimizer="adam",metrics=["accuracy"])
# 训练模型
history = model.fit(
          train_generator,
          steps_per_epoch=600,
          epochs=50, verbose=1,
          validation_data=(X_test, Y_test))

评估

# 评估模型
print("\nTesting ...")
loss, accuracy = model.evaluate(X_test, Y_test)
print("测试数据集的准确度 = {:.2f}".format(accuracy))

 画损失随周期变化图

# 显示图表来分析模型的训练过程
import matplotlib.pyplot as plt
# 显示训练和验证损失
loss = history.history["loss"]
epochs = range(1, len(loss)+1)
val_loss = history.history["val_loss"]
plt.plot(epochs, loss, "bo-", label="Training Loss")
plt.plot(epochs, val_loss, "ro--", label="Validation Loss")
plt.title("Training and Validation Loss")
plt.xlabel("Epochs")
plt.ylabel("Loss")
plt.legend()
plt.show()

 精度变化图

# 显示训练和验证准确度 
acc = history.history["accuracy"]
epochs = range(1, len(acc)+1)
val_acc = history.history["val_accuracy"]
plt.plot(epochs, acc, "bo-", label="Training Acc")
plt.plot(epochs, val_acc, "ro--", label="Validation Acc")
plt.title("Training and Validation Accuracy")
plt.xlabel("Epochs")
plt.ylabel("Accuracy")
plt.legend()
plt.show()