【经典卷积神经网络】之Le-Net5分析及实现MNIST手写数据集分类

【经典卷积神经网络】之Le-Net5分析及实现MNIST手写数据集分类

一、内容

今天和大家一起学习卷积神经网络和深度学习发展历史上具有奠基性的经典论文之一的关于 LeNet-5 网络一文。LeNet-5 是由具有卷积神经网络之父之美誉的 Yann LeCun 在1998年发表在 IEEE 上面的一篇 《Gradient-based learning applied to document recognition》 上提出来的。

论文原文：
http://yann.lecun.com/exdb/publis/pdf/lecun-01a.pdf

LeNet-5 的网络结构如下：

LeNet-5 共有 7 层，输入层不计入层数，每层都有一定的训练参数，其中三个卷积层的训练参数较多，每层都有多个滤波器，也叫特征图，每个滤波器都对上一层的输出提取不同的像素特征。所以 LeNet-5 的简略结构如下：输入-卷积-池化-卷积-池化-卷积（全连接）-全连接-全连接（输出）各层的结构和参数如下：
C1层是个卷积层，其输入输出结构如下：
输入： 32 x 32 x 1 滤波器大小： 5 x 5 x 1 滤波器个数：6
输出： 28 x 28 x 6
参数个数： 5 x 5 x 1 x 6 + 6 = 156
P2层是个池化层，其输入输出结构如下：
输入： 28 x 28 x 6 滤波器大小： 2 x 2 滤波器个数：6
输出： 14 x 14 x 6
参数个数：2 x 6 = 12
在原文中，P1池化层采用的是平均池化，鉴于现在普遍都使用最大池化，所以在后面的代码实现中我们统一采用最大池化。
C3层是个卷积层，其输入输出结构如下：
输入： 14 x 14 x 6 滤波器大小： 5 x 5 x 6 滤波器个数：16
输出： 10 x 10 x 16
参数个数： 5 x 5 x 6 x 16 + 16 = 2416
P4层是个池化层，其输入输出结构如下：
输入： 10 x 10 x 16 滤波器大小： 2 x 2 滤波器个数：16
输出： 5 x 5 x 16
参数个数： 2 x 16 = 32
C5层在论文中是个卷积层，但滤波器大小为 5 x 5，所以其本质上也是个全连接层。如果将5 x 5 x 16 拉成一个向量，它就是一个全连接层。其输入输出结构如下：
输入： 5 x 5 x 16 滤波器大小： 5 x 5 x 16 滤波器个数：120
输出： 1 x 1 x 120
参数个数： 5 x 5 x 16 x 120 + 120 = 48120
F6层是个全连接层，全连接的激活函数采用的是 tanh 函数，其输入输出结构如下：
输入：120
输出：84
参数个数：120 x 84 + 84 = 10164
F7层即输出层，也是个全连接层，其输入输出结构如下：
输入：84
输出：10
参数个数： 84 x 10 + 10 = 850

二、代码

# 导包
from keras.datasets import mnist
from keras.models import Sequential
from keras.layers import Dense,Flatten,Conv2D,MaxPool2D
from keras.optimizers import SGD
from keras.utils import to_categorical

# 加载数据集
(x_train,y_train),(x_test,y_test) = mnist.load_data()
print(x_train.shape,y_train.shape,x_test.shape,y_test.shape)

# 数据集的预处理操作
x_train = x_train.reshape(60000,28,28,1)
x_test = x_test.reshape(10000,28,28,1)

# 标签变为one-hot编码的形式
y_train = to_categorical(y_train,num_classes=10)
y_test = to_categorical(y_test,num_classes=10)

# LeNet-5模型的定义
model = Sequential()
model.add(Conv2D(filters=6,kernel_size=(5,5),padding="valid",input_shape=(28,28,1),activation="tanh"))
model.add(MaxPool2D(pool_size=(2,2)))
model.add(Conv2D(filters=16,kernel_size=(5,5),padding="valid",activation="tanh"))
model.add(MaxPool2D(pool_size=(2,2)))
model.add(Flatten())
model.add(Dense(120,activation="tanh"))
model.add(Dense(84,activation="tanh"))
model.add(Dense(10,activation="softmax"))
model.summary()

# 训练模型
sgd = SGD(lr=0.05,decay=1e-6,momentum=0.9,nesterov=True)
model.compile(optimizer=sgd,loss="categorical_crossentropy",metrics=["accuracy"])
model.fit(x_train,y_train,batch_size=514,epochs=8,verbose=1,validation_data=(x_test,y_test),shuffle=True)

# 运行测试集
test_loss, test_acc = model.evaluate(x=x_test, y=y_test)
print("Le-Net5 Test Accuracy %.4f" % test_acc)

三、结果

1.模型结构

2.训练

3.测试