LeNet-5​基础介绍及代码测试

1. LeNet-5​ 基础介绍

通过详解卷积神经网络CNN一文，我们对卷积神经网络的有了很多认识，接下来我们将通过几个经典的卷积神经网络，加深对卷积神经网络的理解和认识。

$1998$年，$YannLeCun$等人在论文$<<GradientBasedLearningAppliedtoDocumentRecognition>>$中提出并详细介绍了LeNet-5​神经网络结构，并用于手写数字识别问题，能达到很高的识别率。LeNET-5包含卷积层，池化层，全连接层，成为了卷积神经网络的经典结构，被誉为是卷积神经网络的"Hello Word"。

该网络现在来看十分简单，十分适合入门，其结构如下

该网络共包含$7$层(不含输入层)，我们根据以下公式计算卷积或者池化之后的特征图大小

$$\begin{array}{rl}{O}_w& =\{\begin{array}{l}floor(\frac{W-1}{S_w})+1,padding="SAME"\\ \\ floor\left(\frac{W-F_w}{S_w}\right)+1,padding="VALID"\end{array}\\ & \\ O_h& =\{\begin{array}{l}floor(\frac{H-1}{S_h})+1,padding="SAME"\\ \\ floor\left(\frac{H-F_h}{S_h}\right)+1,padding="VALID"\end{array}\end{array}$$

• $C1$ 层

  该层是一个卷积层，使用$6$个$5\ast 5$的卷积核，步长为$1$。

  每个卷积核有$5\ast 5+1(Bias)$个参数，共有$(5\ast 5+1)\ast 6=156$个参数。

• $S2$层

  该层是一个Pooling层，Pooling大小为$2\ast 2$，步长为$2$.

  该层没有要学习的参数

• $C3$层

  该层是一个卷积层，使用$16$个$5\ast 5\ast 6$的卷积核，步长为$1$。

  共有$(5\ast 5\ast 6+1)\ast 16=2416$个参数。

• $S4$层

  该层是一个Pooling层，Pooling大小为$2\ast 2$，步长为$2$.

  该层没有要学习的参数

• $C5$层

  论文描述的是一个卷积层，使用$120$个$5\ast 5\ast 16$的卷积核，步长为$1$.

  共有$(5\ast 5\ast 16+1)\ast 120=48120$个参数

  其实这层也可以看做是一个全连接层的一个隐藏层，神经元个数为$120$个，输入的数据来自$S4$层特征数据拉直。

• $F6$层

  该层是一个全连接层。

  共有$120\ast 84+84=10164$个参数。

• $OUTPUT$层

  该层是一个全连接层。

  共有$10\ast 84+10=850$个参数。

我们用以下表格更加直观的看下每一层都做了什么

$$\begin{array}{cccccccc}Layer& LayerType& InputSize& KernelSizeorPollingSize& FiltersCount& Strides& OutputSize& ParamsCount\\ C1& 卷积层& 32\ast 32\ast 1& 5\ast 5& 6& 1& 28\ast 28\ast 6& 156\\ & & & & & & & \\ S2& 池化层& 28\ast 28\ast 6& 2\ast 2& -& 2& 14\ast 14\ast 6& 0\\ & & & & & & & \\ C3& 卷积层& 14\ast 14\ast 6& 5\ast 5\ast 6& 16& 1& 10\ast 10\ast 16& 2416\\ & & & & & & & \\ S4& 池化层& 10\ast 10\ast 16& 2\ast 2& -& 2& 5\ast 5\ast 16& 0\\ & & & & & & & \\ C5& 卷积层& 5\ast 5\ast 16& 5\ast 5\ast 16& 120& 1& 1\ast 1\ast 120& 48120\\ & & & & & & & \\ F6& 全连接层& 120& -& -& -& 84& 10164\\ & & & & & & & \\ OUTPUT& 输出层& 84& -& -& -& 10& 850\end{array}$$

这里重点介绍其网络结构，部分细节可能和论文不一致，需要原论文的可联系我。

2. 利用TesorFlow + LeNet-5识别mnist手写数字

#!/usr/bin/python3

# @Time    : 2021/2/23 9:56
# @Author  : 
# @File    : Lenet5
# @Software: PyCharm
# @Description : Python==3.7.3、tensorflow==2.4.1

import tensorflow as tf
import numpy as np
from matplotlib import pyplot as plt
from tensorflow.keras.layers import Conv2D,BatchNormalization,Activation,MaxPool2D,Dropout,Flatten,Dense,AveragePooling2D
from tensorflow.keras import Model
import os

# 设置超过多长省略显示，这里设置np.inf表示无限长
np.set_printoptions(threshold=np.inf)

# 准备数据集合
# cifar10 = tf.keras.datasets.cifar10
cifar10 = tf.keras.datasets.mnist
(x_train, y_train), (x_test, y_test) = cifar10.load_data()
x_train,x_test = x_train/255.0,x_test/255.0

# 给数据增加一个维度，使数据和网络结构匹配
x_train = x_train.reshape(x_train.shape[0], 28, 28, 1)
x_test = x_test.reshape(x_test.shape[0], 28, 28, 1)


# 自定义网络模型
class Letnet5Model(Model,):
    # 定义网络结构
    def __init__(self):
        super(Letnet5Model,self).__init__()
        # 定义6个 5*5的卷积核
        self.c1 = Conv2D(filters=6,kernel_size=(5,5),activation='sigmoid',padding='same')
        # 平均池化，池化大小 2*2，步长2
        self.s2 = AveragePooling2D(pool_size=(2,2),strides=2)
        # 定义16个5*5的卷积核
        self.c3 = Conv2D(filters=16,kernel_size=(5,5),activation='sigmoid')
        self.s4 = AveragePooling2D(pool_size=(2,2),strides=2)

        # 将卷积得到的特征数据拉直
        self.f = Flatten()
        # 定个一个120个神经元的全连接隐藏层
        self.c5 = Dense(units=120, activation='sigmoid')
        # 定个一个80个神经元的全连接隐藏层
        self.f6 = Dense(units=84,activation='sigmoid')
        # 定个一个10个神经元的全连接隐藏层
        self.o7 = Dense(units=10,activation='softmax')

    # 调用网络结构，实现前向传播
    def call(self, inputs, training=None, mask=None):
        inputs = self.c1(inputs)
        inputs = self.s2(inputs)
        inputs = self.c3(inputs)
        inputs = self.s4(inputs)
        inputs = self.f(inputs)
        inputs = self.c5(inputs)
        inputs = self.f6(inputs)
        y = self.o7(inputs)
        return y

def acc_loss_analyse(robot,):
    # 绘制训练集和验证集的acc和loss曲线
    acc = robot.history['sparse_categorical_accuracy']
    val_acc = robot.history['val_sparse_categorical_accuracy']
    loss = robot.history['loss']
    val_loss = robot.history['val_loss']

    plt.subplot(1, 2, 1)
    plt.plot(acc, label='Training Accuracy')
    plt.plot(val_acc, label='Validation Accuracy')
    plt.title("Training and Validation Accuracy")
    plt.legend()

    plt.subplot(1, 2, 2)
    plt.plot(loss, label='Training Loss')
    plt.plot(val_loss, label='Validation Loss')
    plt.title('Training and Validation Loss')
    plt.legend()
    plt.show()

def main():
    model = Letnet5Model()

    # 配置训练项，设定optimizer(优化器)，loss(损失函数)，metrics(网络评判标准)
    model.compile(optimizer='adam', loss=tf.keras.losses.SparseCategoricalCrossentropy(from_logits=False),
                  metrics=['sparse_categorical_accuracy'])

    breakpoint_sava_path = './checkpoint/LeNet5.ckpt'
    if os.path.exists(breakpoint_sava_path+'.index'):
        print('-------------load the model-----------------')
        # 读取模型
        model.load_weights(breakpoint_sava_path)

    # 保存模型
    cp_callback = tf.keras.callbacks.ModelCheckpoint(filepath=breakpoint_sava_path, save_weights_only=True,save_best_only=True)
    # 开始训练
    robot = model.fit(x_train,y_train,batch_size=32,epochs=5,validation_data=(x_test,y_test),validation_freq=1,callbacks=[cp_callback])
    # 查看网络结构基本信息
    model.summary()
    acc_loss_analyse(robot, )

if __name__ == '__main__':
    main()

运行代码，可以看到$TensorFlow$打印的每层参数个数和之前的分析保持一致

训练了两百轮，最好验证集准确率为$99.07\%$