Keras实现LeNet-5网络

前言

本着要搞懂各种模型，最近学了Keras，所以心血来潮，试着学习复现一下经典的LeNet模型。
论文地址为：Gradient-Based Learning Applied to Document Recoginition

模型结构

首先得搞清楚模型的结构，包括输入大小，卷积核大小，卷积步长等。这里除了最后一层用了softmax函数，其他的激活函数用的都是tanh

• 输入为32x32的灰度图像，那么输入的input_shape=(32,32,1)
• 第一层有6个5x5的卷积核，no padding；
• 第二层为2x2的MaxPooling层，stride 为 2；
• 第三层为16个5x5的卷积层，no padding；
• 第四层为2x2的MaxPooling层，stride 为2；
• 第五层为Flatten和Dense层，连接120个节点；
• 第六层为Dense层，连接84个节点；
• 第七层为Dense层，activation是softmax。

原论文中第二层池化层和第三层卷积层之间为是部分连接。本文中并未考虑，而是做成全连接

另外，可以到这个网站画一下图：http://alexlenail.me/NN-SVG/LeNet.html
下面是我画的图：

代码部分

由于我用的是mnist的数据集，然后mnist的大小是(28,28,1)的，所以实际上我的模型是这样的：

现在上代码：

import tensorflow as tf
from tensorflow.keras.optimizers import SGD

# 使用keras内置的mnist数据集
mnist = tf.keras.datasets.mnist

(training_images, training_labels), (test_images, test_labels) = mnist.load_data()

# 处理一下数据
training_images = training_images.reshape(-1, 28, 28, 1