深度学习 Day1——T1实现mnist手写数字识别

LittleRuby

已于 2023-12-08 13:11:24 修改

阅读量230

点赞数

文章标签：深度学习人工智能

于 2023-11-17 01:20:47 首次发布

本文链接：https://blog.csdn.net/LittleRuby/article/details/134451566

版权

🍨 本文为🔗365天深度学习训练营中的学习记录博客
🍖 原作者：K同学啊 | 接辅导、项目定制

前言

本文使用的是最简单的CNN模型- -LeNet-5，采用Tenserflow框架完成mnist手写数字识别。简单讲述实现代码与执行结果，并浅谈涉及知识点，涉及知识点包括。
关键字：MNIST手写数字数据集介绍，神经网络程序调用顺序，CNN网络模型结构，CNN网络–卷积层，池化层，全连接层，激活函数，以及预测结果为何出现负数

一、我的环境

电脑系统：Windows 11
语言环境：python 3.8.6
编译器：pycharm
深度学习环境：TensorFlow 2.10.1

二、代码实现与执行结果

1.引入库

import tensorflow as tf
from tensorflow.keras import datasets, layers, models
import matplotlib.pyplot as plt
import matplotlib
matplotlib.rc("font", family='DengXian')  # 设置图片中的中文字体
import numpy as np
import warnings
warnings.filterwarnings('ignore')  # 忽略一些warning内容，无需打印

2.设置GPU（如果使用的是CPU可以忽略这步）

'''前期工作-设置GPU（如果使用的是CPU可以忽略这步）'''
gpus = tf.config.list_physical_devices("GPU")
if gpus:
    gpu0 = gpus[0]  # 如果有多个GPU，仅使用第0个GPU
    tf.config.experimental.set_memory_growth(gpu0, True)  # 设置GPU显存用量按需使用
    tf.config.set_visible_devices([gpu0], "GPU")

本人电脑无独显，故该步骤被注释，未执行。

3.导入数据

'''前期工作-导入数据'''
# 导入mnist数据，依次分别为训练集图片、训练集标签、测试集图片、测试集标签
(train_images, train_labels), (test_images, test_labels) = datasets.mnist.load_data()

4.数据归一化

'''前期工作-数据归一化'''
# 将像素的值标准化至0到1的区间内。(对于灰度图片来说，每个像素最大值是255，每个像素最小值是0，也就是直接除以255就可以完成归一化。)
train_images, test_images = train_images / 255.0, test_images / 255.0
# 查看数据维数信息
print(train_images.shape, test_images.shape, train_labels.shape, test_labels.shape)
"""
输出：((60000, 28, 28), (10000, 28, 28), (60000,), (10000,))
"""

5.可视化图片

'''前期工作-可视化图片'''
# 将数据集前20个图片数据可视化显示
# 进行图像大小为20宽、10长的绘图(单位为英寸inch)
plt.figure(figsize=(20, 10))
# 遍历MNIST数据集下标数值0~49
for i in range(20):
    # 将整个figure分成4行5列，绘制第i+1个子图。
    plt.subplot(4, 5, i + 1)
    # 设置不显示x轴刻度
    plt.xticks([])
    # 设置不显示y轴刻度
    plt.yticks([])
    # 设置不显示子图网格线
    plt.grid(False)
    # 图像展示，cmap为颜色图谱，"plt.cm.binary"为matplotlib.cm中的色表
    plt.imshow(train_images[i], cmap=plt.cm.binary)
    # 设置x轴标签显示为图片对应的数字
    plt.xlabel(train_labels[i])
# 显示图片
plt.show()

显示训练集数据前20个，显示结果如下：

6.调整图片格式

'''前期工作-调整图片格式'''
# 调整数据到我们需要的格式
train_images = train_images.reshape((60000, 28, 28, 1))
test_images = test_images.reshape((10000, 28, 28, 1))
print(train_images.shape, test_images.shape, train_labels.shape, test_labels.shape)
"""
输出：((60000, 28, 28, 1), (10000, 28, 28, 1), (60000,), (10000,))
"""

7.构建CNN网络模型

'''构建CNN网络模型'''
# 创建并设置卷积神经网络
# 卷积层：通过卷积操作对输入图像进行降维和特征抽取
# 池化层：是一种非线性形式的下采样。主要用于特征降维，压缩数据和参数的数量，减小过拟合，同时提高模型的鲁棒性。
# 全连接层：在经过几个卷积和池化层之后，神经网络中的高级推理通过全连接层来完成。
model = models.Sequential([
    # 设置二维卷积层1，设置32个3*3卷积核，activation参数将激活函数设置为ReLu函数，input_shape参数将图层的输入形状设置为(28, 28, 1)
    # ReLu函数作为激活励函数可以增强判定函数和整个神经网络的非线性特性，而本身并不会改变卷积层
    # 相比其它函数来说，ReLU函数更受青睐，这是因为它可以将神经网络的训练速度提升数倍，而并不会对模型的泛化准确度造成显著影响。
    layers.Conv2D(32, (3, 3), activation='relu', input_shape=(28, 28, 1)),
    # 池化层1，2*2采样
    layers.MaxPooling2D((2, 2)),
    # 设置二维卷积层2，设置64个3*3卷积核，activation参数将激活函数设置为ReLu函数
    layers.Conv2D(64, (3, 3), activation='relu'),
    # 池化层2，2*2采样
    layers.MaxPooling2D((2, 2)),

    layers.Flatten(),  # Flatten层，连接卷积层与全连接层
    layers.Dense(64, activation='relu'),  # 全连接层，特征进一步提取，64为输出空间的维数，activation参数将激活函数设置为ReLu函数
    layers.Dense(10)  # 输出层，输出预期结果，10为输出空间的维数
])
# 打印网络结构
model.summary()

网络结构结果如下：

8.编译模型

'''编译模型'''
"""
这里设置优化器、损失函数以及metrics
"""
# model.compile()方法用于在配置训练方法时，告知训练时用的优化器、损失函数和准确率评测标准
model.compile(
    # 设置优化器为Adam优化器
    optimizer='adam',
    # 设置损失函数为交叉熵损失函数（tf.keras.losses.SparseCategoricalCrossentropy()）
    # from_logits为True时，会将y_pred转化为概率（用softmax），否则不进行转换，通常情况下用True结果更稳定
    loss=tf.keras.losses.SparseCategoricalCrossentropy(from_logits=True),
    # 设置性能指标列表，将在模型训练时监控列表中的指标
    metrics=['accuracy'])

9.训练模型

'''训练模型'''
"""
这里设置输入训练数据集（图片及标签）、验证数据集（图片及标签）以及迭代次数epochs
关于model.fit()函数的具体介绍可参考博客：
https://blog.csdn.net/qq_38251616/category_10258234.html
"""
history = model.fit(
    # 输入训练集图片
    train_images,
    # 输入训练集标签
    train_labels,
    # 设置10个epoch，每一个epoch都将会把所有的数据输入模型完成一次训练。
    epochs=10,
    # 设置验证集
    validation_data=(test_images, test_labels))

训练记录如下：
在这里插入图片描述 ## 10.预测

'''预测'''
plt.imshow(test_images[0])
# 需要加上这句话，否则不显示图片
plt.show()
pre = model.predict(test_images)  # 对所有测试图片进行预测
print(pre[0])  # 输出第一张图片的预测结果

测试集第一张图片如下：

该图的预测结果如下：
在这里插入图片描述

当修改以下两处代码后预测结果：
输出层：layers.Dense(10, activation=‘softmax’)
损失函数：loss=tf.keras.losses.SparseCategoricalCrossentropy(from_logits=False),
在这里插入图片描述

10.显示预测结果图

# 显示预测结果，n为4的倍数
def show_pic(n):
    plt.suptitle("MNIST测试集预测结果", fontsize=20, color="red")
    for i in range(n):
        # num = np.random.randint(1, 10000)
        plt.subplot(4, int(n / 4), i + 1)
        plt.axis("off")
        plt.imshow(test_images[i], cmap="gray")
        plt.title("标签值：" + str(np.argmax(pre[i])), fontsize=14)
    plt.tight_layout(rect=[0, 0, 1, 0.9])
    plt.show()
plt.figure(1)
show_pic(20)
plt.figure(2)
matplotlib.rc("font", family='KaiTi')  # 更改中文字体
show_pic(28)

以下为两次不同字体画图效果

三、知识点详解

1.MNIST手写数字数据集介绍

MNIST手写数字数据集来源于是美国国家标准与技术研究所，是著名的公开数据集之一。数据集中的数字图片是由250个不同职业的人纯手写绘制，数据集获取的网址为：http://yann.lecun.com/exdb/mnist/（下载后需解压）。我们一般会采用(train_images, train_labels), (test_images, test_labels) = datasets.mnist.load_data()这行代码直接调用，这样就比较简单MNIST手写数字数据集中包含了70000张图片，其中60000张为训练数据，10000为测试数据，70000张图片均是2828，如果我们把每一张图片中的像素转换为向量，则得到长度为2828=784的向量。因此我们可以把训练集看成是一个[60000,784]的张量，第一个维度表示图片的索引，第二个维度表示每张图片中的像素点。而图片里的每个像素点的值介于0-1之间。

2.神经网络程序调用顺序

选择模型
构建网络模型
编译
训练
预测

3.CNN网络模型结构

本文网络模型按一下方式构建：在这里插入图片描述

各层的作用

● 输入层：用于将数据输入到训练网络
● 卷积层：使用卷积核提取图片特征
● 池化层：进行下采样，用更高层的抽象表示图像特征
● Flatten层：将多维的输入一维化，常用在卷积层到全连接层的过渡
● 全连接层：起到“特征提取器”的作用
● 输出层：输出结果

4.CNN网络–卷积层

我们以灰度图像为例进行讲解：让一个权重矩阵即卷积核（kernel）逐步在二维输入数据上“扫描”。卷积核“滑动”的同时，计算权重矩阵和扫描所得的数据矩阵的乘积，然后把结果汇总成一个输出像素。使用3x3卷积核，在未使用padding的情况下，卷积之后的图像尺寸为(width-2)*(height-2)。
在这里插入图片描述
【卷积的计算公式】

输入图片的尺寸：一般用nn表示输入的image大小。
卷积核的大小：一般用ff表示卷积核的大小。
填充（Padding）：一般用p来表示填充大小。
步长(Stride)：一般用s来表示步长大小。
输出图片的尺寸：一般用o来表示。

如果已知 n,f,p,s,可以求得o
计算公式如下：
$o=\lfloor\frac{n+2p-f}{s} \quad \rfloor+1$
其中" $\lfloor \rfloor$ "是向下取整符号，用于结果不是整数时进行向下取整。

5.CNN网络–池化层

池化过程在一般卷积过程后。池化（pooling）的本质，其实就是采样。Pooling 对于输入的 Feature Map，选择某种方式对其进行降维压缩，以加快运算速度。采用较多的一种池化过程叫最大池化（Max Pooling），其具体操作过程如下：
在这里插入图片描述
池化过程类似于卷积过程，如上图所示，表示的就是对一个 44 feature map邻域内的值，用一个 22 的filter，步长为2进行‘扫描’，选择最大值输出到下一层，这叫做 Max Pooling。
max pooling常用的 s=2,f=2的效果：特征图高度、宽度减半，通道数不变。

6.CNN网络–全连接层

全连接层就是将最后一层卷积得到的特征图（矩阵）展开成一维向量，并为分类器提供输入。
在这里插入图片描述
以上图为例输入一个 2828 的灰度图像，经过卷积层输出20个2424 的图像，再经过池化层输出201212的图像，然后通过了一个全连接层用一个12x12x20x100的卷积层去卷积激活函数的输出，最终得到1*100 的向量。全连接层将学到的特征表示映射到样本的标记空间的作用。就是把特征整合到一起（高度提纯特征），方便交给最后的分类器或者回归。
全连接层中一层的一个神经元就可以看成一个多项式，我们用许多神经元去拟合数据分布，但是只用一层fully connected layer 有时候没法解决非线性问题，而如果有两层或以上fully connected layer就可以很好地解决非线性问题了。

全连接层对模型影响参数有三个：全接解层的总层数（长度）、单个全连接层的神经元数（宽度）、激活函数
激活函数的作用是增加模型的非线性表达能力
如果全连接层宽度不变，增加长度：
优点：神经元个数增加，模型复杂度提升；全连接层数加深，模型非线性表达能力提高。理论上都可以提高模型的学习能力。
如果全连接层长度不变，增加宽度：
优点：神经元个数增加，模型复杂度提升。理论上可以提高模型的学习能力。

长度和宽度增加并不是越多越好
（1）缺点：学习能力太好容易造成过拟合。
（2）缺点：运算时间增加，效率变低。

那么怎么判断模型学习能力如何？

看Training Curve 以及 Validation Curve，在其他条件理想的情况下，如果Training Accuracy 高， Validation Accuracy 低，也就是过拟合了，可以尝试去减少层数或者参数。如果Training Accuracy 低，说明模型学的不好，可以尝试增加参数或者层数。

7.CNN网络–激活函数

在神经元中，输入（inputs ）通过加权，求和后，还被作用在一个函数上，这个函数就是激活函数。激活函数给神经元引入了非线性因素，使得神经网络可以任意逼近任何非线性函数，这样神经网络就可以应用到众多的非线性模型中。输出层可能会使用线性激活函数，但在隐含层都使用非线性激活函数。
各种激活函数层数不穷，各有优缺点，sigmoid 只会输出正数，以及靠近0的输出变化率最大，tanh和sigmoid不同的是，tanh输出可以是负数，ReLu是输入只能大于0,如果你输入含有负数，ReLu就不适合，如果你的输入是图片格式，ReLu就挺常用的。
在这里插入图片描述
激活函数可以提高模型鲁棒性，非线性表达能力，缓解梯度消失问题，将特征图映射到新的特征空间从而更有利于训练，加速模型收敛等问题都有很好的帮助。

8.CNN网络–预测结果为何出现负数

在 Keras 的二元交叉熵损失函数（tf.keras.losses.BinaryCrossentropy，下面简称为 bce）中，有 from_logits 这个参数。在使用时需要分下面 2 种情况：

如果输入给 bce 的是一个 logit 值（值域范围 [-∞, +∞] ），则应该设置 from_logits=True 。
如果输入给 bce 的是一个概率值 probability （值域范围 [0, 1] ），则应该设置为 from_logits=False 。

如果你的输出层有一个’softmax’激活，from_logits应该是False。如果你的输出层没有’softmax’激活from_logits应该是True。
如果 from_logits=False (即输出层是带softmax激活函数的)，那么其结果会被clip在 [epsilon_, 1 - epsilon_] 的范围之内。这是由于简单的softmax函数会有数值溢出的问题。因此如果是先计算softmax再计算cross-entropy，那么要通过clip防止数据溢出问题。而如果设置 from_logits=True，那么模型会将 softmax和cross-entropy 结合在一起计算，这样可以更好的解决softmax的溢出问题。
因此设置 from_logits=True 一般会比 from_logits=False 数值稳定性更强。（如果计算过程中没用遇到过大或过小的数值，那么两者就没有什么区别）

总结

通过本次的学习，能通过tenserflow框架创建cnn网络模型预测手写数字，并了解了cnn网络各层的作用与相关原理。

参考链接

tf.keras 搭建神经网络六部法https://blog.csdn.net/xy3233/article/details/122481409
激活函数https://zhuanlan.zhihu.com/p/32824193
激活函数https://zhuanlan.zhihu.com/p/71882757
卷积https://zhuanlan.zhihu.com/p/77471866
池化https://zhuanlan.zhihu.com/p/78760534
全连接层https://zhuanlan.zhihu.com/p/78760688
全连接层https://zhuanlan.zhihu.com/p/33841176
全连接层https://blog.csdn.net/weixin_43935696/article/details/112212926
预测概率出现负数原因参考链接
https://news.sangniao.com/p/1657299162
https://blog.csdn.net/muyuu/article/details/122762442
https://blog.csdn.net/drin201312/article/details/123247057
https://www.zhihu.com/question/60751553