第六周 好莱坞明星识别

第六周 好莱坞明星识别

• 🍨 本文为🔗365天深度学习训练营 中的学习记录博客
• 🍦 参考文章：365天深度学习训练营-第6周：好莱坞明星识别（训练营内部成员可读）
• 🍖 原作者：K同学啊 | 接辅导、项目定制
• 🚀 文章来源：K同学的学习圈子

环境准备

• python 3.8
• Tensorflow2.x
• pycharm编辑工具

数据集划分与数据预处理

import os
import random as r

def splitData(dir_path):
    data_list = os.listdir(dir_path)
    train_path = os.path.join(dir_path, 'train')
    val_path = os.path.join(dir_path, 'val')
    if not os.path.exists(train_path): os.mkdir(train_path)
    if not os.path.exists(val_path): os.mkdir(val_path)

    for d in data_list:
        d_path = os.path.join(dir_path, d)

        data = os.listdir(d_path)
        train_data = data[:int(len(data) * 0.8)]
        val_data = list(set(data).difference(train_data))
        target_path = os.path.join(train_path, d)
        if not os.path.exists(target_path): os.mkdir(target_path)
        for t in train_data:
            t_path = os.path.join(d_path, t)
            t_target = os.path.join(target_path, t)
            os.rename(t_path, t_target)
        target_path_ = os.path.join(val_path, d)
        if not os.path.exists(target_path_): os.mkdir(target_path_)
        for v in val_data:
            v_path = os.path.join(d_path, v)
            v_target = os.path.join(target_path_, v)
            os.rename(v_path, v_target)

if __name__ == "__main__":
    splitData(dir_path="./peoples")

划分格式如下：

数据集加载
使用flow_from_directory 函数加载数据集
flow_from_directory :

directory: 目标文件夹路径,对于每一个类,该文件夹都要包含一个子文件夹.子文件夹中任何JPG、PNG、BNP、PPM的图片都会被生成器使用.详情请查看此脚本
target_size: 整数tuple,默认为(256, 256). 图像将被resize成该尺寸
color_mode: 颜色模式,为"grayscale",“rgb"之一,默认为"rgb”.代表这些图片是否会被转换为单通道或三通道的图片.
classes: 可选参数,为子文件夹的列表,如[‘dogs’,‘cats’]默认为None. 若未提供,则该类别列表将从directory下的子文件夹名称/结构自动推断。每一个子文件夹都会被认为是一个新的类。(类别的顺序将按照字母表顺序映射到标签值)。通过属性class_indices可获得文件夹名与类的序号的对应字典。
class_mode: “categorical”, “binary”, "sparse"或None之一. 默认为"categorical. 该参数决定了返回的标签数组的形式, "categorical"会返回2D的one-hot编码标签,"binary"返回1D的二值标签."sparse"返回1D的整数标签,如果为None则不返回任何标签, 生成器将仅仅生成batch数据, 这种情况在使用model.predict_generator()和model.evaluate_generator()等函数时会用到.
batch_size: batch数据的大小,默认32
shuffle: 是否打乱数据,默认为True
seed: 可选参数,打乱数据和进行变换时的随机数种子
save_to_dir: None或字符串，该参数能让你将提升后的图片保存起来，用以可视化
save_prefix：字符串，保存提升后图片时使用的前缀, 仅当设置了save_to_dir时生效
save_format：“png"或"jpeg"之一，指定保存图片的数据格式,默认"jpeg”
flollow_links: 是否访问子文件夹中的软链接

data_train = train_image_gen.flow_from_directory(
            train_dir,
            target_size=self.img_size,
            batch_size=self.batch_size
        )
        data_val = val_image_gen.flow_from_directory(
            val_dir,
            target_size=self.img_size,
            batch_size=self.batch_size
        )

网络搭建

    def create_model(self):
        # 创建并设置卷积神经网络
        # 卷积层：通过卷积操作对输入图像进行降维和特征抽取
        # 池化层：是一种非线性形式的下采样。主要用于特征降维，压缩数据和参数的数量，减小过拟合，同时提高模型的鲁棒性。
        # 全连接层：在经过几个卷积和池化层之后，神经网络中的高级推理通过全连接层来完成。

        model = models.Sequential([
            layers.experimental.preprocessing.Rescaling(1. / 255, input_shape=(*self.img_size, 3)),

            layers.Conv2D(16, (3, 3), activation='relu', input_shape=(*self.img_size, 3)),  # 卷积层1，卷积核3*3
            layers.BatchNormalization(),
            layers.AveragePooling2D((2, 2)),  # 池化层1，2*2采样
            layers.Conv2D(32, (3, 3), activation='relu'),  # 卷积层2，卷积核3*3
            layers.BatchNormalization(),
            layers.AveragePooling2D((2, 2)),  # 池化层2，2*2采样
            layers.Dropout(0.4),
            layers.Conv2D(64, (3, 3), activation='relu'),  # 卷积层3，卷积核3*3
            layers.BatchNormalization(),
            # layers.Dropout(0.4) 作用是防止过拟合，提高模型的泛化能力。
            layers.Dropout(0.3),  # 让神经元以一定的概率停止工作，防止过拟合，提高模型的泛化能力。

            layers.Flatten(),  # Flatten层，连接卷积层与全连接层
            layers.Dense(128, activation='relu'),  # 全连接层，特征进一步提取
            layers.BatchNormalization(),
            layers.Dense(self.num_class)  # 输出层，输出预期结果
        ])
        model.summary()  # 打印网络结构
        return model

在这里添加了BN层，BN层一方面可以加速网络的收敛速度，另一方面可以提高网络的泛化能力，抑制过拟合。

BN层的计算过程：

具体过程为：
1.计算样本均值。
2.计算样本方差。
3.样本数据标准化处理。
4.进行平移和缩放处理。引入了γ \gammaγ和β \betaβ两个参数。来训练γ和β两个参数。引入了这个可学习重构参数 γ \gammaγ 和β \betaβ，让我们的网络可以学习恢复出原始网络所要学习的特征分布。

结构展示

Model: "sequential"
_________________________________________________________________
Layer (type)                 Output Shape              Param #   
=================================================================
rescaling (Rescaling)        (None, 256, 256, 3)       0         
_________________________________________________________________
conv2d (Conv2D)              (None, 254, 254, 16)      448       
_________________________________________________________________
batch_normalization (BatchNo (None, 254, 254, 16)      64        
_________________________________________________________________
average_pooling2d (AveragePo (None, 127, 127, 16)      0         
_________________________________________________________________
conv2d_1 (Conv2D)            (None, 125, 125, 32)      4640      
_________________________________________________________________
batch_normalization_1 (Batch (None, 125, 125, 32)      128       
_________________________________________________________________
average_pooling2d_1 (Average (None, 62, 62, 32)        0         
_________________________________________________________________
dropout (Dropout)            (None, 62, 62, 32)        0         
_________________________________________________________________
conv2d_2 (Conv2D)            (None, 60, 60, 64)        18496     
_________________________________________________________________
batch_normalization_2 (Batch (None, 60, 60, 64)        256       
_________________________________________________________________
dropout_1 (Dropout)          (None, 60, 60, 64)        0         
_________________________________________________________________
flatten (Flatten)            (None, 230400)            0         
_________________________________________________________________
dense (Dense)                (None, 128)               29491328  
_________________________________________________________________
batch_normalization_3 (Batch (None, 128)               512       
_________________________________________________________________
dense_1 (Dense)              (None, 17)                2193      
=================================================================
Total params: 29,518,065
Trainable params: 29,517,585
Non-trainable params: 480
_________________________________________________________________

卷积神经网络（CNN）的输入是张量 (Tensor) 形式的 (image_height, image_width, color_channels)，包含了图像高度、宽度及颜色信息。不需要输入batch size。color_channels 为 (R,G,B) 分别对应 RGB 的三个颜色通道（color channel）。在此示例中，我们的 CNN 输入形状是 (224, 224, 3)。我们需要在声明第一层时将形状赋值给参数input_shape。
在这里，我们对图像的输入进行归一化处理，调用tensorflow中的layers.experimental.preprocessing.Rescaling来调整大小层将图片大小变为img_size大小，并将其归一化到0-1区间内，便于数据的计算。
网络结构图

模型训练

编译器的配置：

设置动态学习率
ExponentialDecay函数：
tf.keras.optimizers.schedules.ExponentialDecay是 TensorFlow 中的一个学习率衰减策略，用于在训练神经网络时动态地降低学习率。学习率衰减是一种常用的技巧，可以帮助优化算法更有效地收敛到全局最小值，从而提高模型的性能。
主要参数：
● initial_learning_rate（初始学习率）：初始学习率大小。
● decay_steps（衰减步数）：学习率衰减的步数。在经过 decay_steps 步后，学习率将按照指数函数衰减。例如，如果 decay_steps 设置为 10，则每10步衰减一次。
● decay_rate（衰减率）：学习率的衰减率。它决定了学习率如何衰减。通常，取值在 0 到 1 之间。
● staircase（阶梯式衰减）：一个布尔值，控制学习率的衰减方式。如果设置为 True，则学习率在每个 decay_steps 步之后直接减小，形成阶梯状下降。如果设置为 False，则学习率将连续衰减。

# 设置初始学习率
        initial_learning_rate = 1e-4

        lr_schedule = tf.keras.optimizers.schedules.ExponentialDecay(
            initial_learning_rate,
            decay_steps=10,  # 敲黑板！！！这里是指 steps，不是指epochs
            decay_rate=0.9,  # lr经过一次衰减就会变成 decay_rate*lr
            staircase=True)

        # 将指数衰减学习率送入优化器
        optimizer = tf.keras.optimizers.Adam(learning_rate=lr_schedule)

        model.compile(optimizer=optimizer,
                      loss=tf.keras.losses.SparseCategoricalCrossentropy(from_logits=True),
                      metrics=['accuracy'])

注：这里设置的动态学习率为：指数衰减型（ExponentialDecay）。在每一个epoch开始前，学习率（learning_rate）都将会重置为初始学习率（initial_learning_rate），然后再重新开始衰减。计算公式如下：
learning_rate = initial_learning_rate * decay_rate ^ (step / decay_steps)

早停机制

**EarlyStopping()**参数说明：
● monitor: 被监测的数据。
● min_delta: 在被监测的数据中被认为是提升的最小变化， 例如，小于 min_delta 的绝对变化会被认为没有提升。
● patience: 没有进步的训练轮数，在这之后训练就会被停止。
● verbose: 详细信息模式。
● mode: {auto, min, max} 其中之一。 在 min 模式中， 当被监测的数据停止下降，训练就会停止；在 max 模式中，当被监测的数据停止上升，训练就会停止；在 auto 模式中，方向会自动从被监测的数据的名字中判断出来。
● baseline: 要监控的数量的基准值。 如果模型没有显示基准的改善，训练将停止。
● estore_best_weights: 是否从具有监测数量的最佳值的时期恢复模型权重。 如果为 False，则使用在训练的最后一步获得的模型权重。

earlystopper = EarlyStopping(monitor='val_accuracy',
                                     min_delta=0.0001,
                                     patience=30,
                                     verbose=1)

训练代码

from tensorflow.keras.callbacks import ModelCheckpoint, EarlyStopping
        # 保存最佳模型参数
        checkpointer = ModelCheckpoint(self.save_model(),
                                       monitor='val_accuracy',
                                       verbose=1,
                                       save_best_only=True,
                                       save_weights_only=True)

        # 设置早停
        earlystopper = EarlyStopping(monitor='val_accuracy',
                                     min_delta=0.0001,
                                     patience=30,
                                     verbose=1)
        self.history = model.fit(
            train,
            epochs=self.epochs,
            validation_data=val,
            callbacks=[checkpointer, earlystopper])

过程展示：

Epoch 1/50
90/90 [==============================] - ETA: 0s - loss: 7.1044 - accuracy: 0.5125
Epoch 00001: val_accuracy improved from -inf to 0.44722, saving model to ./checkpoints/peoples\peoples-zqx.h5
90/90 [==============================] - 53s 588ms/step - loss: 7.1044 - accuracy: 0.5125 - val_loss: 6.8740 - val_accuracy: 0.4472
Epoch 2/50
90/90 [==============================] - ETA: 0s - loss: 4.5343 - accuracy: 0.5458
Epoch 00002: val_accuracy improved from 0.44722 to 0.54722, saving model to ./checkpoints/peoples\peoples-zqx.h5
90/90 [==============================] - 52s 581ms/step - loss: 4.5343 - accuracy: 0.5458 - val_loss: 4.5658 - val_accuracy: 0.5472
Epoch 3/50
90/90 [==============================] - ETA: 0s - loss: 4.0256 - accuracy: 0.5465
Epoch 00003: val_accuracy improved from 0.54722 to 0.55278, saving model to ./checkpoints/peoples\peoples-zqx.h5
90/90 [==============================] - 51s 571ms/step - loss: 4.0256 - accuracy: 0.5465 - val_loss: 4.1554 - val_accuracy: 0.5528
Epoch 4/50
90/90 [==============================] - ETA: 0s - loss: 3.9466 - accuracy: 0.5458
Epoch 00004: val_accuracy did not improve from 0.55278
90/90 [==============================] - 51s 569ms/step - loss: 3.9466 - accuracy: 0.5458 - val_loss: 4.0725 - val_accuracy: 0.5417
Epoch 5/50
90/90 [==============================] - ETA: 0s - loss: 3.7497 - accuracy: 0.5556
Epoch 00005: val_accuracy did not improve from 0.55278
90/90 [==============================] - 52s 581ms/step - loss: 3.7497 - accuracy: 0.5556 - val_loss: 4.0281 - val_accuracy: 0.5361
Epoch 6/50
90/90 [==============================] - ETA: 0s - loss: 3.8470 - accuracy: 0.5465
Epoch 00006: val_accuracy did not improve from 0.55278
90/90 [==============================] - 53s 584ms/step - loss: 3.8470 - accuracy: 0.5465 - val_loss: 4.0040 - val_accuracy: 0.5361
Epoch 7/50
90/90 [==============================] - ETA: 0s - loss: 3.8081 - accuracy: 0.5458
Epoch 00007: val_accuracy did not improve from 0.55278
90/90 [==============================] - 52s 583ms/step - loss: 3.8081 - accuracy: 0.5458 - val_loss: 4.0554 - val_accuracy: 0.5389
Epoch 8/50
90/90 [==============================] - ETA: 0s - loss: 3.9315 - accuracy: 0.5493
Epoch 00008: val_accuracy did not improve from 0.55278
90/90 [==============================] - 53s 585ms/step - loss: 3.9315 - accuracy: 0.5493 - val_loss: 3.9988 - val_accuracy: 0.5361

模型评估

    def plot_loss(x, history):
    plt.plot(x, history['val_loss'], label='val', marker='o')
    plt.plot(x, history['train_loss'], label='train', marker='o')
    plt.title('Loss per epoch')
    plt.ylabel('loss')
    plt.xlabel('epoch')
    plt.legend(), plt.grid()
    plt.savefig('./logs/loss.png')
    plt.show()


def plot_acc(x, history):
    plt.plot(x, history['train_acc'], label='train_acc', marker='x')
    plt.plot(x, history['val_acc'], label='val_acc', marker='x')
    plt.title('Acc per epoch')
    plt.ylabel('accuracy')
    plt.xlabel('epoch')
    plt.legend(), plt.grid()
    plt.savefig('./logs/acc.png')
    plt.show()

结果查看：

总结

1. 增加BN层确实提高了模型的性能。
2. 后期可以增加数据增强，提高模型的泛化能力，也增加训练的样本数量。
3. 学习使用VGG或者ResNet网络来进行数据的训练，并进行对比查看效果。