第五周 足球鞋识别

第五周 足球鞋识别

• 🍨 本文为🔗365天深度学习训练营 中的学习记录博客
• 🍦 参考文章：365天深度学习训练营-第5周：运动鞋品牌识别（训练营内部成员可读）
• 🍖 原作者：K同学啊 | 接辅导、项目定制
• 🚀 文章来源：K同学的学习圈子

环境准备

• python 3.8
• Tensorflow2.x
• pycharm编辑工具

数据预处理

    def load_data(self):
        train = tf.keras.preprocessing.image_dataset_from_directory(
            self.DataPath,
            validation_split=.2,
            subset="training",
            seed=122,
            image_size=self.img_size,
            batch_size=self.batch_size
        )

        val = tf.keras.preprocessing.image_dataset_from_directory(
            self.DataPath,
            validation_split=.2,
            subset="validation",
            seed=122,
            image_size=self.img_size,
            batch_size=self.batch_size
        )
        AUTOTUNE = tf.data.experimental.AUTOTUNE
        self.train = train.cache().shuffle(1000).prefetch(buffer_size=AUTOTUNE)
        self.val = val.cache().prefetch(buffer_size=AUTOTUNE)
        return train, val

这里使用tensorflow中的image_dataset_from_directory函数来加载数据集。
image_dataset_from_directory：返回一个tf.data.Dataset, 该数据集从子目录class_a和class_b生成批次图像，同时生成标签0和1（0对应class_a，1对应class_b）.

prefetch()功能详细介绍：CPU 正在准备数据时，加速器处于空闲状态。相反，当加速器正在训练模型时，CPU 处于空闲状态。因此，训练所用的时间是 CPU 预处理时间和加速器训练时间的总和。prefetch()将训练步骤的预处理和模型执行过程重叠到一起。当加速器正在执行第 N 个训练步时，CPU 正在准备第 N+1 步的数据。这样做不仅可以最大限度地缩短训练的单步用时（而不是总用时），而且可以缩短提取和转换数据所需的时间。如果不使用prefetch()，CPU 和 GPU/TPU 在大部分时间都处于空闲状态：

使用prefetch()可显著减少空闲时间：

cache：将数据集缓存到内存当中，加速运行

数据查看

    def save_show(self):
        plt.figure(figsize=(20, 10))
        for images, labels in self.train.take(1):
            for i in range(20):
                ax = plt.subplot(5, 10, i + 1)
                plt.imshow(images[i].numpy().astype("uint8"))
                plt.title(self.class_names[labels[i]])
                plt.axis("off")
        plt.savefig("show.jpg")
        return True

网络搭建

    def create_model(self):
        # 创建并设置卷积神经网络
        # 卷积层：通过卷积操作对输入图像进行降维和特征抽取
        # 池化层：是一种非线性形式的下采样。主要用于特征降维，压缩数据和参数的数量，减小过拟合，同时提高模型的鲁棒性。
        # 全连接层：在经过几个卷积和池化层之后，神经网络中的高级推理通过全连接层来完成。

        model = models.Sequential([
            layers.experimental.preprocessing.Rescaling(1. / 255, input_shape=(*self.img_size, 3)),

            layers.Conv2D(16, (3, 3), activation='relu', input_shape=(*self.img_size, 3)),  # 卷积层1，卷积核3*3
            layers.AveragePooling2D((2, 2)),  # 池化层1，2*2采样
            layers.Conv2D(32, (3, 3), activation='relu'),  # 卷积层2，卷积核3*3
            layers.AveragePooling2D((2, 2)),  # 池化层2，2*2采样
            layers.Conv2D(64, (3, 3), activation='relu'),  # 卷积层3，卷积核3*3
            # layers.Dropout(0.4) 作用是防止过拟合，提高模型的泛化能力。
            layers.Dropout(0.3),  # 让神经元以一定的概率停止工作，防止过拟合，提高模型的泛化能力。

            layers.Flatten(),  # Flatten层，连接卷积层与全连接层
            layers.Dense(128, activation='relu'),  # 全连接层，特征进一步提取
            layers.Dense(self.num_class)  # 输出层，输出预期结果
        ])
        model.summary()  # 打印网络结构
        return model

结构展示

Model: "sequential"
_________________________________________________________________
Layer (type)                 Output Shape              Param #   
=================================================================
rescaling (Rescaling)        (None, 224, 224, 3)       0         
_________________________________________________________________
conv2d (Conv2D)              (None, 222, 222, 16)      448       
_________________________________________________________________
average_pooling2d (AveragePo (None, 111, 111, 16)      0         
_________________________________________________________________
conv2d_1 (Conv2D)            (None, 109, 109, 32)      4640      
_________________________________________________________________
average_pooling2d_1 (Average (None, 54, 54, 32)        0         
_________________________________________________________________
dropout (Dropout)            (None, 54, 54, 32)        0         
_________________________________________________________________
conv2d_2 (Conv2D)            (None, 52, 52, 64)        18496     
_________________________________________________________________
dropout_1 (Dropout)          (None, 52, 52, 64)        0         
_________________________________________________________________
flatten (Flatten)            (None, 173056)            0         
_________________________________________________________________
dense (Dense)                (None, 128)               22151296  
_________________________________________________________________
dense_1 (Dense)              (None, 2)                 258       
=================================================================
Total params: 22,175,138
Trainable params: 22,175,138
Non-trainable params: 0
_________________________________________________________________

卷积神经网络（CNN）的输入是张量 (Tensor) 形式的 (image_height, image_width, color_channels)，包含了图像高度、宽度及颜色信息。不需要输入batch size。color_channels 为 (R,G,B) 分别对应 RGB 的三个颜色通道（color channel）。在此示例中，我们的 CNN 输入形状是 (224, 224, 3)。我们需要在声明第一层时将形状赋值给参数input_shape。
在这里，我们对图像的输入进行归一化处理，调用tensorflow中的layers.experimental.preprocessing.Rescaling来调整大小层将图片大小变为img_size大小，并将其归一化到0-1区间内，便于数据的计算。

网络结构图

网络编译器的配置

设置动态学习率
ExponentialDecay函数：
tf.keras.optimizers.schedules.ExponentialDecay是 TensorFlow 中的一个学习率衰减策略，用于在训练神经网络时动态地降低学习率。学习率衰减是一种常用的技巧，可以帮助优化算法更有效地收敛到全局最小值，从而提高模型的性能。
主要参数：
● initial_learning_rate（初始学习率）：初始学习率大小。
● decay_steps（衰减步数）：学习率衰减的步数。在经过 decay_steps 步后，学习率将按照指数函数衰减。例如，如果 decay_steps 设置为 10，则每10步衰减一次。
● decay_rate（衰减率）：学习率的衰减率。它决定了学习率如何衰减。通常，取值在 0 到 1 之间。
● staircase（阶梯式衰减）：一个布尔值，控制学习率的衰减方式。如果设置为 True，则学习率在每个 decay_steps 步之后直接减小，形成阶梯状下降。如果设置为 False，则学习率将连续衰减。

# 设置初始学习率
        initial_learning_rate = 1e-4

        lr_schedule = tf.keras.optimizers.schedules.ExponentialDecay(
            initial_learning_rate,
            decay_steps=10,  # 敲黑板！！！这里是指 steps，不是指epochs
            decay_rate=0.9,  # lr经过一次衰减就会变成 decay_rate*lr
            staircase=True)

        # 将指数衰减学习率送入优化器
        optimizer = tf.keras.optimizers.Adam(learning_rate=lr_schedule)

        model.compile(optimizer=optimizer,
                      loss=tf.keras.losses.SparseCategoricalCrossentropy(from_logits=True),
                      metrics=['accuracy'])

注：这里设置的动态学习率为：指数衰减型（ExponentialDecay）。在每一个epoch开始前，学习率（learning_rate）都将会重置为初始学习率（initial_learning_rate），然后再重新开始衰减。计算公式如下：
learning_rate = initial_learning_rate * decay_rate ^ (step / decay_steps)

学习率大与学习率小的优缺点分析:

学习率大
● 优点：
○ 1、加快学习速率。
○ 2、有助于跳出局部最优值。
● 缺点：
○ 1、导致模型训练不收敛。
○ 2、单单使用大学习率容易导致模型不精确。
学习率小
● 优点：
○ 1、有助于模型收敛、模型细化。
○ 2、提高模型精度。
● 缺点：
○ 1、很难跳出局部最优值。
○ 2、收敛缓慢。

早停机制

EarlyStopping()参数说明：
● monitor: 被监测的数据。
● min_delta: 在被监测的数据中被认为是提升的最小变化， 例如，小于 min_delta 的绝对变化会被认为没有提升。
● patience: 没有进步的训练轮数，在这之后训练就会被停止。
● verbose: 详细信息模式。
● mode: {auto, min, max} 其中之一。 在 min 模式中， 当被监测的数据停止下降，训练就会停止；在 max 模式中，当被监测的数据停止上升，训练就会停止；在 auto 模式中，方向会自动从被监测的数据的名字中判断出来。
● baseline: 要监控的数量的基准值。 如果模型没有显示基准的改善，训练将停止。
● estore_best_weights: 是否从具有监测数量的最佳值的时期恢复模型权重。 如果为 False，则使用在训练的最后一步获得的模型权重。

earlystopper = EarlyStopping(monitor='val_accuracy',
                                     min_delta=0.0001,
                                     patience=30,
                                     verbose=1)

模型训练

from tensorflow.keras.callbacks import ModelCheckpoint, EarlyStopping
        # 保存最佳模型参数
        checkpointer = ModelCheckpoint(self.save_model(),
                                       monitor='val_accuracy',
                                       verbose=1,
                                       save_best_only=True,
                                       save_weights_only=True)

        # 设置早停
        earlystopper = EarlyStopping(monitor='val_accuracy',
                                     min_delta=0.0001,
                                     patience=30,
                                     verbose=1)
        self.history = model.fit(
            train,
            epochs=self.epochs,
            validation_data=val,
            callbacks=[checkpointer, earlystopper])

Epoch 00025: val_accuracy did not improve from 0.45217
116/116 [==============================] - 15s 126ms/step - loss: 0.6930 - accuracy: 0.5119 - val_loss: 0.6937 - val_accuracy: 0.4522
Epoch 26/80
116/116 [==============================] - ETA: 0s - loss: 0.6930 - accuracy: 0.5119
Epoch 00026: val_accuracy did not improve from 0.45217
116/116 [==============================] - 14s 124ms/step - loss: 0.6930 - accuracy: 0.5119 - val_loss: 0.6937 - val_accuracy: 0.4522
Epoch 27/80
116/116 [==============================] - ETA: 0s - loss: 0.6930 - accuracy: 0.5119
Epoch 00027: val_accuracy did not improve from 0.45217
116/116 [==============================] - 15s 126ms/step - loss: 0.6930 - accuracy: 0.5119 - val_loss: 0.6937 - val_accuracy: 0.4522
Epoch 28/80
116/116 [==============================] - ETA: 0s - loss: 0.6930 - accuracy: 0.5119
Epoch 00028: val_accuracy did not improve from 0.45217
116/116 [==============================] - 15s 128ms/step - loss: 0.6930 - accuracy: 0.5119 - val_loss: 0.6937 - val_accuracy: 0.4522
Epoch 29/80
116/116 [==============================] - ETA: 0s - loss: 0.6930 - accuracy: 0.5119
Epoch 00029: val_accuracy did not improve from 0.45217
116/116 [==============================] - 15s 128ms/step - loss: 0.6930 - accuracy: 0.5119 - val_loss: 0.6937 - val_accuracy: 0.4522
Epoch 30/80
116/116 [==============================] - ETA: 0s - loss: 0.6930 - accuracy: 0.5119
Epoch 00030: val_accuracy did not improve from 0.45217
116/116 [==============================] - 14s 125ms/step - loss: 0.6930 - accuracy: 0.5119 - val_loss: 0.6937 - val_accuracy: 0.4522
Epoch 31/80
116/116 [==============================] - ETA: 0s - loss: 0.6930 - accuracy: 0.5119
Epoch 00031: val_accuracy did not improve from 0.45217
116/116 [==============================] - 15s 129ms/step - loss: 0.6930 - accuracy: 0.5119 - val_loss: 0.6937 - val_accuracy: 0.4522

模型评估

    def plot_loss(x, history):
    plt.plot(x, history['val_loss'], label='val', marker='o')
    plt.plot(x, history['train_loss'], label='train', marker='o')
    plt.title('Loss per epoch')
    plt.ylabel('loss')
    plt.xlabel('epoch')
    plt.legend(), plt.grid()
    plt.savefig('./logs/loss.png')
    plt.show()


def plot_acc(x, history):
    plt.plot(x, history['train_acc'], label='train_acc', marker='x')
    plt.plot(x, history['val_acc'], label='val_acc', marker='x')
    plt.title('Acc per epoch')
    plt.ylabel('accuracy')
    plt.xlabel('epoch')
    plt.legend(), plt.grid()
    plt.savefig('./logs/acc.png')
    plt.show()

结果查看：

模型预测

from tensorflow.keras.models import load_model
from tensorflow.keras import datasets, layers, models
import tensorflow as tf
import numpy as np
from PIL import Image
model = models.Sequential([
            layers.experimental.preprocessing.Rescaling(1. / 255, input_shape=(224, 224, 3)),

            layers.Conv2D(16, (3, 3), activation='relu', input_shape=(224, 224, 3)),  # 卷积层1，卷积核3*3
            layers.AveragePooling2D((2, 2)),  # 池化层1，2*2采样
            layers.Conv2D(32, (3, 3), activation='relu'),  # 卷积层2，卷积核3*3
            layers.AveragePooling2D((2, 2)),  # 池化层2，2*2采样
            layers.Dropout(0.4),
            layers.Conv2D(64, (3, 3), activation='relu'),  # 卷积层3，卷积核3*3
            # layers.Dropout(0.4) 作用是防止过拟合，提高模型的泛化能力。
            layers.Dropout(0.3),  # 让神经元以一定的概率停止工作，防止过拟合，提高模型的泛化能力。

            layers.Flatten(),  # Flatten层，连接卷积层与全连接层
            layers.Dense(128, activation='relu'),  # 全连接层，特征进一步提取
            layers.Dense(2)  # 输出层，输出预期结果
        ])
model_path = "./checkpoints/zqx/zqx-zqx.h5"
model.load_weights(model_path)
img = np.array(Image.open("./data/zqx/nike/0.jpg"))  #这里选择你需要预测的图片

image = tf.image.resize(img, [224, 224])
img_array = tf.expand_dims(image, 0)

p = model.predict(img_array)
class_names = ['adidas', 'nike']
print("预测类别：", class_names[np.argmax(p)])

预测类别： nike

预测图片：

总结

1. 查看评估的结果，结果震荡较为严重，可能时学习率太大或者损失函数没有选择合适导致的
2. 通过设置早停机制，也可以防止过拟合。