第七周 咖啡豆识别

🍨 本文为[🔗365天深度学习训练营(https://mp.weixin.qq.com/s/Nb93582M_5usednAKp_Jtw) 中的学习记录博客
🍦 参考文章：365天深度学习训练营-第7周：咖啡豆识别（训练营内部成员可读）
🍖 原作者：[K同学啊 | 接辅导、项目定制](https://mtyjkh.blog.csdn.net/)
🚀 文章来源：[K同学的学习圈子](https://www.yuque.com/mingtian-fkmxf/zxwb45)

环境准备

• python 3.8
• Tensorflow2.x
• pycharm编辑工具

数据集划分与数据预处理

 train = tf.keras.preprocessing.image_dataset_from_directory(
            self.DataPath,
            validation_split=.2,
            subset="training",
            seed=42,
            image_size=self.img_size,
            batch_size=self.batch_size
        )

        val = tf.keras.preprocessing.image_dataset_from_directory(
            self.DataPath,
            validation_split=.2,
            subset="validation",
            seed=42,
            image_size=self.img_size,
            batch_size=self.batch_size
        )
        AUTOTUNE = tf.data.experimental.AUTOTUNE
        self.train = train.cache().shuffle(1000).prefetch(buffer_size=AUTOTUNE)
        self.val = val.cache().prefetch(buffer_size=AUTOTUNE)
        # AUTOTUNE = tf.data.experimental.AUTOTUNE
        # self.train = data_train.cache().shuffle(1000).prefetch(buffer_size=AUTOTUNE)
        # self.val = data_val.cache().prefetch(buffer_size=AUTOTUNE)
        return train, val

---

flow_from_directory :

• directory: 目标文件夹路径,对于每一个类,该文件夹都要包含一个子文件夹.子文件夹中任何JPG、PNG、BNP、PPM的图片都会被生成器使用.详情请查看此脚本
• target_size: 整数tuple,默认为(256, 256). 图像将被resize成该尺寸
• color_mode: 颜色模式,为"grayscale",“rgb"之一,默认为"rgb”.代表这些图片是否会被转换为单通道或三通道的图片.
• classes: 可选参数,为子文件夹的列表,如[‘dogs’,‘cats’]默认为None. 若未提供,则该类别列表将从directory下的子文件夹名称/结构自动推断。每一个子文件夹都会被认为是一个新的类。(类别的顺序将按照字母表顺序映射到标签值)。通过属性class_indices可获得文件夹名与类的序号的对应字典。
• class_mode: “categorical”, “binary”, "sparse"或None之一. 默认为"categorical. 该参数决定了返回的标签数组的形式, "categorical"会返回2D的one-hot编码标签,"binary"返回1D的二值标签."sparse"返回1D的整数标签,如果为None则不返回任何标签, 生成器将仅仅生成batch数据, 这种情况在使用model.predict_generator()和model.evaluate_generator()等函数时会用到.
• batch_size: batch数据的大小,默认32
• shuffle: 是否打乱数据,默认为True
• seed: 可选参数,打乱数据和进行变换时的随机数种子
• save_to_dir: None或字符串，该参数能让你将提升后的图片保存起来，用以可视化
• save_prefix：字符串，保存提升后图片时使用的前缀, 仅当设置了save_to_dir时生效
• save_format：“png"或"jpeg"之一，指定保存图片的数据格式,默认"jpeg”
• flollow_links: 是否访问子文件夹中的软链接

---

VGG16知识了解

1. VGG网络采用连续的小卷积核（3x3）和池化层构建深度神经网络，网络深度可以达到16层或19层。
2. 每个模型分成了5个Block，所有卷积层采用的都是3x3大小的卷积核 。
3. 3x3卷积核可以大幅度减少网络的参数数量，从而减少过拟合的风险。
4. 多个3x3卷积核串联起来可以形成一个感受野更大的卷积核，而且这个组合具有更强的非线性能力。
5. 网络搭建：
   1. 输入：224x224的RGB 彩色图像；
   2. block1：包含2个 [64x3x3] 的卷积层；
   3. block2：包含2个 [128x3x3] 的卷积层；
   4. block3：包含3个 [256x3x3] 的卷积层；
   5. block4：包含3个 [512x3x3] 的卷积层；
   6. block5：包含3个 [512x3x3] 的卷积层；
   7. 接着有3个全连接层；
   8. 一个分类输出层，经过 SoftMax 输出 1000个类的后验概率

网络结构图

结构说明：

• 13个卷积层（Convolutional Layer），分别用blockX_convX表示

• 3个全连接层（Fully connected Layer），分别用fcX与predictions表示

• 5个池化层（Pool layer），分别用blockX_pool表示

from tensorflow.keras import layers, models, Input
from tensorflow.keras.models import Model
from tensorflow.keras.layers import Conv2D, MaxPooling2D, Dense, Flatten, Dropout

def VGG16(nb_classes, input_shape):
    input_tensor = Input(shape=input_shape)
    # 1st block
    x = Conv2D(64, (3,3), activation='relu', padding='same',name='block1_conv1')(input_tensor)
    x = Conv2D(64, (3,3), activation='relu', padding='same',name='block1_conv2')(x)
    x = MaxPooling2D((2,2), strides=(2,2), name = 'block1_pool')(x)
    # 2nd block
    x = Conv2D(128, (3,3), activation='relu', padding='same',name='block2_conv1')(x)
    x = Conv2D(128, (3,3), activation='relu', padding='same',name='block2_conv2')(x)
    x = MaxPooling2D((2,2), strides=(2,2), name = 'block2_pool')(x)
    # 3rd block
    x = Conv2D(256, (3,3), activation='relu', padding='same',name='block3_conv1')(x)
    x = Conv2D(256, (3,3), activation='relu', padding='same',name='block3_conv2')(x)
    x = Conv2D(256, (3,3), activation='relu', padding='same',name='block3_conv3')(x)
    x = MaxPooling2D((2,2), strides=(2,2), name = 'block3_pool')(x)
    # 4th block
    x = Conv2D(512, (3,3), activation='relu', padding='same',name='block4_conv1')(x)
    x = Conv2D(512, (3,3), activation='relu', padding='same',name='block4_conv2')(x)
    x = Conv2D(512, (3,3), activation='relu', padding='same',name='block4_conv3')(x)
    x = MaxPooling2D((2,2), strides=(2,2), name = 'block4_pool')(x)
    # 5th block
    x = Conv2D(512, (3,3), activation='relu', padding='same',name='block5_conv1')(x)
    x = Conv2D(512, (3,3), activation='relu', padding='same',name='block5_conv2')(x)
    x = Conv2D(512, (3,3), activation='relu', padding='same',name='block5_conv3')(x)
    x = MaxPooling2D((2,2), strides=(2,2), name = 'block5_pool')(x)
    # full connection
    x = Flatten()(x)
    x = Dense(4096, activation='relu',  name='fc1')(x)
    x = Dense(4096, activation='relu', name='fc2')(x)
    output_tensor = Dense(nb_classes, activation='softmax', name='predictions')(x)

    model = Model(input_tensor, output_tensor)
    return model

model=VGG16(len(class_names), (img_width, img_height, 3))
model.summary()

Model: "model"
_________________________________________________________________
Layer (type)                 Output Shape              Param #   
=================================================================
input_1 (InputLayer)         [(None, 224, 224, 3)]     0         
_________________________________________________________________
block1_conv1 (Conv2D)        (None, 224, 224, 64)      1792      
_________________________________________________________________
block1_conv2 (Conv2D)        (None, 224, 224, 64)      36928     
_________________________________________________________________
block1_pool (MaxPooling2D)   (None, 112, 112, 64)      0         
_________________________________________________________________
block2_conv1 (Conv2D)        (None, 112, 112, 128)     73856     
_________________________________________________________________
block2_conv2 (Conv2D)        (None, 112, 112, 128)     147584    
_________________________________________________________________
block2_pool (MaxPooling2D)   (None, 56, 56, 128)       0         
_________________________________________________________________
block3_conv1 (Conv2D)        (None, 56, 56, 256)       295168    
_________________________________________________________________
block3_conv2 (Conv2D)        (None, 56, 56, 256)       590080    
_________________________________________________________________
block3_conv3 (Conv2D)        (None, 56, 56, 256)       590080    
_________________________________________________________________
block3_pool (MaxPooling2D)   (None, 28, 28, 256)       0         
_________________________________________________________________
block4_conv1 (Conv2D)        (None, 28, 28, 512)       1180160   
_________________________________________________________________
block4_conv2 (Conv2D)        (None, 28, 28, 512)       2359808   
_________________________________________________________________
block4_conv3 (Conv2D)        (None, 28, 28, 512)       2359808   
_________________________________________________________________
block4_pool (MaxPooling2D)   (None, 14, 14, 512)       0         
_________________________________________________________________
block5_conv1 (Conv2D)        (None, 14, 14, 512)       2359808   
_________________________________________________________________
block5_conv2 (Conv2D)        (None, 14, 14, 512)       2359808   
_________________________________________________________________
block5_conv3 (Conv2D)        (None, 14, 14, 512)       2359808   
_________________________________________________________________
block5_pool (MaxPooling2D)   (None, 7, 7, 512)         0         
_________________________________________________________________
flatten (Flatten)            (None, 25088)             0         
_________________________________________________________________
fc1 (Dense)                  (None, 4096)              102764544 
_________________________________________________________________
fc2 (Dense)                  (None, 4096)              16781312  
_________________________________________________________________
predictions (Dense)          (None, 4)                 16388     
=================================================================
Total params: 134,276,932
Trainable params: 134,276,932
Non-trainable params: 0
_________________________________________________________________

模型编译

• 损失函数（loss）：用于衡量模型在训练期间的准确率。

• 优化器（optimizer）：决定模型如何根据其看到的数据和自身的损失函数进行更新。

• 指标（metrics）：用于监控训练和测试步骤。以下示例使用了准确率，即被正确分类的图像的比率。

# 设置初始学习率
        initial_learning_rate = 5e-3

        lr_schedule = tf.keras.optimizers.schedules.ExponentialDecay(
            initial_learning_rate,
            decay_steps=30,  # 敲黑板！！！这里是指 steps，不是指epochs
            decay_rate=0.92,  # lr经过一次衰减就会变成 decay_rate*lr
            staircase=True)

        # 将指数衰减学习率送入优化器
        optimizer = tf.keras.optimizers.Adam(learning_rate=lr_schedule)

        model.compile(optimizer=optimizer,
                      loss=tf.keras.losses.SparseCategoricalCrossentropy(from_logits=True),
                      metrics=['accuracy'])

模型训练

    def fit_model(self):
        train, val = self.load_data()
        # self.save_show()
        model = self.VGG16(len(self.class_names), (*self.img_size, 3))
        model.summary()
        # 设置初始学习率
        initial_learning_rate = 5e-3

        lr_schedule = tf.keras.optimizers.schedules.ExponentialDecay(
            initial_learning_rate,
            decay_steps=30,  # 敲黑板！！！这里是指 steps，不是指epochs
            decay_rate=0.92,  # lr经过一次衰减就会变成 decay_rate*lr
            staircase=True)

        # 将指数衰减学习率送入优化器
        optimizer = tf.keras.optimizers.Adam(learning_rate=lr_schedule)

        model.compile(optimizer=optimizer,
                      loss=tf.keras.losses.SparseCategoricalCrossentropy(from_logits=True),
                      metrics=['accuracy'])


        from tensorflow.keras.callbacks import ModelCheckpoint, EarlyStopping
        # 保存最佳模型参数
        checkpointer = ModelCheckpoint(self.save_model(),
                                       monitor='val_accuracy',
                                       verbose=1,
                                       save_best_only=True,
                                       save_weights_only=True)

        # 设置早停
        #########################################################################################################
        # monitor: 被监测的数据。
        # min_delta: 在被监测的数据中被认为是提升的最小变化， 例如，小于min_delta的绝对变化会被认为没有提升。
        # patience: 没有进步的训练轮数，在这之后训练就会被停止。
        # verbose: 详细信息模式。
        # mode: {auto, min, max}
        # 其中之一。 在min模式中， 当被监测的数据停止下降，训练就会停止；
        # 在max模式中，当被监测的数据停止上升，训练就会停止；
        # 在auto模式中，方向会自动从被监测的数据的名字中判断出来。
        # baseline: 要监控的数量的基准值。 如果模型没有显示基准的改善，训练将停止。
        # estore_best_weights: 是否从具有监测数量的最佳值的时期恢复模型权重。 如果为False，则使用在训练的最后一步获得的模型权重。
        #########################################################################################################
        earlystopper = EarlyStopping(monitor='val_accuracy',
                                     min_delta=0.001,
                                     patience=30,
                                     verbose=1)
        self.history = model.fit(
            train,
            epochs=self.epochs,
            validation_data=val,
            callbacks=[checkpointer, earlystopper])
        istrue = self.save_evaluate()

Epoch 1/100
60/60 [==============================] - ETA: 0s - loss: 1.4888 - accuracy: 0.2531
Epoch 00001: val_accuracy improved from -inf to 0.23333, saving model to ./checkpoints/data\data-kfd.h5
60/60 [==============================] - 268s 4s/step - loss: 1.4888 - accuracy: 0.2531 - val_loss: 1.5103 - val_accuracy: 0.2333
Epoch 2/100
60/60 [==============================] - ETA: 0s - loss: 1.4895 - accuracy: 0.2542
Epoch 00002: val_accuracy did not improve from 0.23333
60/60 [==============================] - 267s 4s/step - loss: 1.4895 - accuracy: 0.2542 - val_loss: 1.5103 - val_accuracy: 0.2333

可视化训练结果

def plot_loss(x, history):
    plt.plot(x, history['val_loss'], label='val', marker='o')
    plt.plot(x, history['train_loss'], label='train', marker='o')
    plt.title('Loss per epoch')
    plt.ylabel('loss')
    plt.xlabel('epoch')
    plt.legend(), plt.grid()
    plt.savefig('./logs/loss.png')
    plt.show()


def plot_acc(x, history):
    plt.plot(x, history['train_acc'], label='train_acc', marker='x')
    plt.plot(x, history['val_acc'], label='val_acc', marker='x')
    plt.title('Acc per epoch')
    plt.ylabel('accuracy')
    plt.xlabel('epoch')
    plt.legend(), plt.grid()
    plt.savefig('./logs/acc.png')
    plt.show()

总结

1. 模型结构使用3x3大小的卷积核与2x2池化，w参数减少，一定程度上防止过拟合。
2. 通过增加深度和宽度能有效地提升性能。
3. 卷积可代替全连接，测试阶段可适应各种尺寸的图片。