第T2周：彩色图片分类

• 本文为🔗365天深度学习训练营 中的学习记录博客
• 原作者：K同学啊

要求：
●学习如何编写一个完整的深度学习程序
●了解分类彩色图片会灰度图片有什么区别
●测试集accuracy到达72%

我的环境：
●语言环境：Python 3.6.5
●编译器：jupyter notebook
●深度学习环境：TensorFlow 2.6.2

一、前期工作

1. 设置GPU

如果使用的是CPU可以忽略这步

import tensorflow as tf
gpus = tf.config.list_physical_devices("GPU")

if gpus:
    gpu0 = gpus[0] #如果有多个GPU，仅使用第0个GPU
    tf.config.experimental.set_memory_growth(gpu0, True) #设置GPU显存用量按需使用
    tf.config.set_visible_devices([gpu0],"GPU")

2. 导入数据

import tensorflow as tf
from tensorflow.keras import datasets, layers, models
import matplotlib.pyplot as plt


# 导入cifar10数据，依次分别为训练集图片、训练集标签、测试集图片、测试集标签
(train_images, train_labels), (test_images, test_labels) = datasets.cifar10.load_data()

3. 归一化

# 将像素的值标准化至0到1的区间内。
train_images, test_images = train_images / 255.0, test_images / 255.0

# 查看数据维数信息
train_images.shape,test_images.shape,train_labels.shape,test_labels.shape

代码输出

((50000, 32, 32, 3), (10000, 32, 32, 3), (50000, 1), (10000, 1))

4. 可视化

class_names = ['airplane', 'automobile', 'bird', 'cat', 'deer','dog', 'frog', 'horse', 'ship', 'truck']


# 将数据集前20个图片数据可视化显示
# 进行图像大小为20宽、10长的绘图(单位为英寸inch)
plt.figure(figsize=(20,10))
for i in range(20):
    plt.subplot(5,10,i+1)
    # 设置不显示x轴刻度
    plt.xticks([])
    # 设置不显示y轴刻度
    plt.yticks([])
    # 设置不显示子图网格线
    plt.grid(False)
     # 图像展示，cmap为颜色图谱，"plt.cm.binary"为matplotlib.cm中的色表
    plt.imshow(train_images[i], cmap=plt.cm.binary)
     # 设置x轴标签显示为图片对应的标签
    plt.xlabel(class_names[train_labels[i][0]])
# 显示图片
plt.show()

代码输出

二、构建简单的CNN网络

池化层对提取到的特征信息进行降维，一方面使特征图变小，简化网络计算复杂度；另一方面进行特征压缩，提取主要特征，增加平移不变性，减少过拟合风险。但其实池化更多程度上是一种计算性能的一个妥协，强硬地压缩特征的同时也损失了一部分信息，所以现在的网络比较少用池化层或者使用优化后的如SoftPool。

池化层包括最大池化层（MaxPooling）和平均池化层（AveragePooling），均值池化对背景保留更好，最大池化对纹理提取更好）。同卷积计算，池化层计算窗口内的平均值或者最大值。例如通过一个 2*2 的最大池化层，其计算方式如下：

即将构建模型的结构图，分别二维和三维的形式展示出来方便大家理解。

平面结构图

立体结构图

# 创建并设置卷积神经网络
# 卷积层：通过卷积操作对输入图像进行降维和特征抽取
# 池化层：是一种非线性形式的下采样。主要用于特征降维，压缩数据和参数的数量，减小过拟合，同时提高模型的鲁棒性。
# 全连接层：在经过几个卷积和池化层之后，神经网络中的高级推理通过全连接层来完成。

model = models.Sequential([

    # 设置二维卷积层1，设置32个3*3卷积核，activation参数将激活函数设置为ReLu函数，input_shape参数将图层的输入形状设置为(32,32,3)
    # ReLu函数作为激活励函数可以增强判定函数和整个神经网络的非线性特性，而本身并不会改变卷积层
    # 相比其它函数来说，ReLU函数更受青睐，这是因为它可以将神经网络的训练速度提升数倍，而并不会对模型的泛化准确度造成显著影响。
    
    layers.Conv2D(32, (3, 3), activation='relu', input_shape=(32, 32, 3)), #卷积层1，卷积核3*3
    layers.MaxPooling2D((2, 2)),                   #池化层1，2*2采样
    layers.Conv2D(64, (3, 3), activation='relu'),  #卷积层2，卷积核3*3
    layers.MaxPooling2D((2, 2)),                   #池化层2，2*2采样
    layers.Conv2D(64, (3, 3), activation='relu'),  #卷积层3，卷积核3*3
    
    layers.Flatten(),                      #Flatten层，连接卷积层与全连接层
    layers.Dense(64, activation='relu'),   #全连接层，特征进一步提取
    layers.Dense(10)                       #输出层，输出预期结果，10为输出空间的维数
])

model.summary()  # 打印网络结构

代码输出

Model: "sequential_7"
_________________________________________________________________
Layer (type)                 Output Shape              Param #   
=================================================================
conv2d_17 (Conv2D)           (None, 30, 30, 32)        896       
_________________________________________________________________
max_pooling2d_14 (MaxPooling (None, 15, 15, 32)        0         
_________________________________________________________________
conv2d_18 (Conv2D)           (None, 13, 13, 64)        18496     
_________________________________________________________________
max_pooling2d_15 (MaxPooling (None, 6, 6, 64)          0         
_________________________________________________________________
conv2d_19 (Conv2D)           (None, 4, 4, 64)          36928     
_________________________________________________________________
flatten_7 (Flatten)          (None, 1024)              0         
_________________________________________________________________
dense_14 (Dense)             (None, 64)                65600     
_________________________________________________________________
dense_15 (Dense)             (None, 10)                650       
=================================================================
Total params: 122,570
Trainable params: 122,570
Non-trainable params: 0
_________________________________________________________________

三、编译模型

"""
这里设置优化器、损失函数以及metrics
"""
# model.compile()方法用于在配置训练方法时，告知训练时用的优化器、损失函数和准确率评测标准

model.compile(
              # 设置优化器为Adam优化器
              optimizer='adam',                                               
              # 设置损失函数为交叉熵损失函数（tf.keras.losses.SparseCategoricalCrossentropy()）
              # from_logits为True时，会将y_pred转化为概率（用softmax），否则不进行转换，通常情况下用True结果更稳定
              loss=tf.keras.losses.SparseCategoricalCrossentropy(from_logits=True),
              # 设置性能指标列表，将在模型训练时监控列表中的指标
              metrics=['accuracy'])

四、训练模型

"""
这里设置输入训练数据集（图片及标签）、验证数据集（图片及标签）以及迭代次数epochs
关于model.fit()函数的具体介绍可参考下面的博客：
https://blog.csdn.net/qq_38251616/article/details/122321757
"""

history = model.fit(
                    # 输入训练集图片
                    train_images, 
                    # 输入训练集标签
                    train_labels, 
                    # 设置10个epoch，每一个epoch都将会把所有的数据输入模型完成一次训练。
                    epochs=10, 
                    # 设置验证集
                    validation_data=(test_images, test_labels))

代码输出

Epoch 1/10
1563/1563 [==============================] - 60s 38ms/step - loss: 1.5249 - accuracy: 0.4436 - val_loss: 1.2871 - val_accuracy: 0.5290
Epoch 2/10
1563/1563 [==============================] - 58s 37ms/step - loss: 1.1353 - accuracy: 0.5964 - val_loss: 1.1610 - val_accuracy: 0.5881
Epoch 3/10
1563/1563 [==============================] - 58s 37ms/step - loss: 0.9876 - accuracy: 0.6531 - val_loss: 0.9847 - val_accuracy: 0.6471
Epoch 4/10
1563/1563 [==============================] - 57s 37ms/step - loss: 0.8943 - accuracy: 0.6858 - val_loss: 0.9196 - val_accuracy: 0.6797
Epoch 5/10
1563/1563 [==============================] - 60s 38ms/step - loss: 0.8251 - accuracy: 0.7120 - val_loss: 0.8963 - val_accuracy: 0.6842
Epoch 6/10
1563/1563 [==============================] - 58s 37ms/step - loss: 0.7695 - accuracy: 0.7327 - val_loss: 0.8835 - val_accuracy: 0.6954
Epoch 7/10
1563/1563 [==============================] - 59s 38ms/step - loss: 0.7245 - accuracy: 0.7453 - val_loss: 0.8565 - val_accuracy: 0.7037
Epoch 8/10
1563/1563 [==============================] - 57s 37ms/step - loss: 0.6795 - accuracy: 0.7623 - val_loss: 0.8657 - val_accuracy: 0.7017
Epoch 9/10
1563/1563 [==============================] - 58s 37ms/step - loss: 0.6393 - accuracy: 0.7761 - val_loss: 0.8812 - val_accuracy: 0.7061
Epoch 10/10
1563/1563 [==============================] - 58s 37ms/step - loss: 0.6069 - accuracy: 0.7865 - val_loss: 0.8741 - val_accuracy: 0.7117

五、预测

通过模型进行预测得到的是每一个类别的概率，数字越大该图片为该类别的可能性越大。

plt.imshow(test_images[1])

代码输出

<matplotlib.image.AxesImage at 0x1c10de85550>

import numpy as np

pre = model.predict(test_images)          # 对所有测试图片进行预测
print(class_names[np.argmax(pre[1])])      # 输出索引为 1 的图片的预测结果

代码输出

ship

#随机预测某张图片的结果

import random

# 从0到len(pre)的范围内随机取一个整数（包括0，但不包括 (len(pre)+1)）
random_number = random.randint(0, len(pre)+1)
print(random_number)

plt.imshow(test_images[random_number])
plt.show()

print(class_names[np.argmax(pre[random_number])])      # 输出索引为 random_number 的图片的预测结果

代码输出

3403

ship

注：上面的“ship”也是代码输出的结果之一。

六、模型评估

import matplotlib.pyplot as plt

plt.figure(figsize=(12, 4))

plt.subplot(1,2,1)
plt.plot(history.history['accuracy'], label='accuracy')
plt.plot(history.history['val_accuracy'], label = 'val_accuracy')
plt.xlabel('Epoch')
plt.ylabel('Accuracy')
#plt.ylim([0.5, 1])
plt.legend(loc='lower right')


plt.subplot(1,2,2)
plt.plot(history.history['loss'], label='loss')
plt.plot(history.history['val_loss'], label = 'val_loss')
plt.xlabel('Epoch')
plt.ylabel('Accuracy')
#plt.ylim([0.5, 1])
plt.legend(loc='upper right')


plt.show()

test_loss, test_acc = model.evaluate(test_images,  test_labels, verbose=2)

代码输出

313/313 - 3s - loss: 0.8741 - accuracy: 0.7117

分析上图可知，模型在训练集上的损失低、准确率高。模型在验证集或测试集上的损失高、准确率低，甚至随着训练的进行，验证集性能逐渐下降。
这是过拟合的迹象。

七、将测试集accuracy到达72%

也就是解决过拟合。

过拟合（Overfitting） 是机器学习模型训练中常见的问题，指的是模型在训练数据上表现得非常好，但在验证或测试数据（未见过的数据）上的表现较差。这意味着模型过于复杂，以至于学习到了训练数据中的噪声或特定模式，而不是数据的通用特征，导致在新数据上泛化能力不足。

过拟合的表现：

训练集性能非常好：模型在训练集上的损失低、准确率高。
验证集/测试集性能较差：模型在验证集或测试集上的损失高、准确率低，甚至随着训练的进行，验证集性能逐渐下降。

过拟合的原因：

模型复杂度高：模型参数过多，层数过深，或神经元数量过多，导致模型能够记住训练集中的每一个细节和噪声。
数据量不足：训练数据量过少，模型没有足够的多样性来学习数据的通用特征。
训练时间过长：训练时间过长可能导致模型在训练集上不断优化，逐渐学习到训练集中的噪声。
数据噪声：训练数据中存在的异常值或噪声会被模型过度学习，导致其在新数据上表现不佳。

如何防止过拟合

增加数据量：通过收集更多的数据或使用数据增强技术来增加数据的多样性，使模型更好地学习数据的通用特征。
使用正则化：如 L2正则化、Dropout 等技术，可以限制模型的复杂度，防止其过度拟合训练数据。
简化模型：减少模型的层数或神经元数量，使模型更简单，减少其记住训练集细节的能力。
早停法（Early Stopping）：在训练过程中监控验证集的性能，一旦验证集性能不再提升（甚至开始下降），就停止训练。
交叉验证：使用交叉验证来评估模型的性能，以减少模型对特定数据分割的依赖，增强模型的泛化能力。
调整学习率：使用学习率调度器或较低的学习率，使模型在训练后期收敛得更平滑，避免过度拟合。

通过采取这些措施，可以有效降低过拟合的风险，从而提高模型在新数据上的表现。

经过上网查资料和多次训练，将epochs修改为20，结果不如意，甚至比epochs=10的结果更差，过拟合现象更突出，说明模型一定过拟合了。
也利用LearningRateScheduler创建学习率衰减函数，更改Adam优化器为Adagrad等，均未实现目标。

因为是模型出现了过拟合现象，因此用layers.Dropout(0.4)防止过拟合，提高模型的泛化能力，训练结果达到要求了。

在以下两个方面进行了修改：
1.将epochs=10修改为epochs=15，如下所示：

"""
这里设置输入训练数据集（图片及标签）、验证数据集（图片及标签）以及迭代次数epochs
关于model.fit()函数的具体介绍可参考下面的博客：
https://blog.csdn.net/qq_38251616/article/details/122321757
"""

history = model.fit(
                    # 输入训练集图片
                    train_images, 
                    # 输入训练集标签
                    train_labels, 
                    # 设置15个epoch，每一个epoch都将会把所有的数据输入模型完成一次训练。
                    epochs=15, 
                    # 设置验证集
                    validation_data=(test_images, test_labels))

2.在CNN网络模型中增加“layers.Dropout(0.4)”，如下所示：

# 创建并设置卷积神经网络
# 卷积层：通过卷积操作对输入图像进行降维和特征抽取
# 池化层：是一种非线性形式的下采样。主要用于特征降维，压缩数据和参数的数量，减小过拟合，同时提高模型的鲁棒性。
# 全连接层：在经过几个卷积和池化层之后，神经网络中的高级推理通过全连接层来完成。

model = models.Sequential([

    # 设置二维卷积层1，设置32个3*3卷积核，activation参数将激活函数设置为ReLu函数，input_shape参数将图层的输入形状设置为(32,32,3)
    # ReLu函数作为激活励函数可以增强判定函数和整个神经网络的非线性特性，而本身并不会改变卷积层
    # 相比其它函数来说，ReLU函数更受青睐，这是因为它可以将神经网络的训练速度提升数倍，而并不会对模型的泛化准确度造成显著影响。
    
    layers.Conv2D(32, (3, 3), activation='relu', input_shape=(32, 32, 3)), #卷积层1，卷积核3*3
    layers.MaxPooling2D((2, 2)),                   #池化层1，2*2采样
    layers.Conv2D(64, (3, 3), activation='relu'),  #卷积层2，卷积核3*3
    layers.MaxPooling2D((2, 2)),                   #池化层2，2*2采样
    layers.Conv2D(64, (3, 3), activation='relu'),  #卷积层3，卷积核3*3

    layers.Dropout(0.4), # 让神经元以一定的概率停止工作，防止过拟合，提高模型的泛化能力。
    
    layers.Flatten(),                      #Flatten层，连接卷积层与全连接层
    layers.Dense(64, activation='relu'),   #全连接层，特征进一步提取
    layers.Dense(10)                       #输出层，输出预期结果，10为输出空间的维数
])

model.summary()  # 打印网络结构

训练数据如下所示：

Epoch 1/15
1563/1563 [==============================] - 51s 32ms/step - loss: 1.5991 - accuracy: 0.4103 - val_loss: 1.2660 - val_accuracy: 0.5516
Epoch 2/15
1563/1563 [==============================] - 50s 32ms/step - loss: 1.2697 - accuracy: 0.5447 - val_loss: 1.1952 - val_accuracy: 0.5719
Epoch 3/15
1563/1563 [==============================] - 49s 31ms/step - loss: 1.1372 - accuracy: 0.5962 - val_loss: 1.0070 - val_accuracy: 0.6447
Epoch 4/15
1563/1563 [==============================] - 49s 31ms/step - loss: 1.0468 - accuracy: 0.6295 - val_loss: 0.9739 - val_accuracy: 0.6545
Epoch 5/15
1563/1563 [==============================] - 57s 37ms/step - loss: 0.9842 - accuracy: 0.6517 - val_loss: 0.8994 - val_accuracy: 0.6838
Epoch 6/15
1563/1563 [==============================] - 56s 36ms/step - loss: 0.9279 - accuracy: 0.6723 - val_loss: 0.8807 - val_accuracy: 0.6915
Epoch 7/15
1563/1563 [==============================] - 57s 36ms/step - loss: 0.8926 - accuracy: 0.6842 - val_loss: 0.8701 - val_accuracy: 0.6974
Epoch 8/15
1563/1563 [==============================] - 57s 37ms/step - loss: 0.8517 - accuracy: 0.6993 - val_loss: 0.8823 - val_accuracy: 0.6904
Epoch 9/15
1563/1563 [==============================] - 55s 35ms/step - loss: 0.8212 - accuracy: 0.7099 - val_loss: 0.8147 - val_accuracy: 0.7160
Epoch 10/15
1563/1563 [==============================] - 53s 34ms/step - loss: 0.8004 - accuracy: 0.7171 - val_loss: 0.7914 - val_accuracy: 0.7226
Epoch 11/15
1563/1563 [==============================] - 51s 33ms/step - loss: 0.7729 - accuracy: 0.7263 - val_loss: 0.8080 - val_accuracy: 0.7227
Epoch 12/15
1563/1563 [==============================] - 51s 33ms/step - loss: 0.7541 - accuracy: 0.7346 - val_loss: 0.8217 - val_accuracy: 0.7129
Epoch 13/15
1563/1563 [==============================] - 47s 30ms/step - loss: 0.7330 - accuracy: 0.7408 - val_loss: 0.7825 - val_accuracy: 0.7264
Epoch 14/15
1563/1563 [==============================] - 47s 30ms/step - loss: 0.7204 - accuracy: 0.7458 - val_loss: 0.7820 - val_accuracy: 0.7262
Epoch 15/15
1563/1563 [==============================] - 48s 31ms/step - loss: 0.6966 - accuracy: 0.7535 - val_loss: 0.7707 - val_accuracy: 0.7329

模型评估的图形如下所示：

可见测试集accuracy到达了72%以上，过拟合现象也得到极大改善。