Week T1：MNIST手写数字识别（CNN）

m_Molly

已于 2023-10-21 05:38:32 修改

阅读量334

点赞数

分类专栏： 365天深度学习训练营学习打卡专栏文章标签：深度学习

于 2023-09-08 20:27:12 首次发布

本文链接：https://blog.csdn.net/qq_40724911/article/details/132747065

版权

365天深度学习训练营学习打卡专栏专栏收录该内容

41 篇文章 4 订阅

订阅专栏

深度学习 Day1——CNN实现MNIST手写数字识别

文章目录

深度学习 Day1——CNN实现MNIST手写数字识别
一、前言
二、我的环境
三、导入和查看数据
四、构建CNN网络(Q：为啥用这个网络结构？) & 编译 & 训练 & 预测
五、遇到的问题

一、前言

🍨 本文为🔗365天深度学习训练营内部限免文章（版权归 K同学啊 所有）
🍦 参考文章地址：🔗深度学习100例-卷积神经网络（CNN）实现mnist手写数字识别 | 第1天
🍖 原作者：K同学啊 | 接辅导、项目定制
🚀 文章来源：K同学的学习圈子

二、我的环境

电脑系统：Windows 10
语言环境：Python 3.6.5
深度学习环境：TensorFlow 2.6.2
编译器：jupyter notebook

三、导入和查看数据

本节内容使用的数据集是MNIST手写数字，图片大小为28x28，数据分为训练集图片、训练集标签、测试集图片、测试集标签，需要对图片作归一化（就是把每张图片的所有像素都缩小到[0，1]内）。

1、导入tf依赖库&数据

# 导入tf库
import tensorflow as tf
# 从tf的keras依赖库中导入三个CNN必备要素：数据集、层数、模型
from tensorflow.keras import datasets, layers, models
# 导入绘图工具matplotlib，没有安装的需要先安装
import matplotlib.pyplot as plt

# 导入mnist数据，依次分别为训练集图片、训练集标签、测试集图片、测试集标签
(train_images, train_labels), (test_images, test_labels) = datasets.mnist.load_data()

导入完成：
在这里插入图片描述

2、数据归一化

# 将像素的值标准化至0到1的区间内。
# (对于灰度图片来说，每个像素∈[0,255]，即直接除以255就可以完成归一化。)
train_images, test_images = train_images / 255.0, test_images / 255.0
# 查看数据维数信息
train_images.shape,test_images.shape,train_labels.shape,test_labels.shape

归一化结果：在这里插入图片描述
60000：是训练图片的数量，同时也代表了标签的数量
10000：是测试图片的数量

3、可视化数据（看看导入的数据都有些什么图片把!~）

# 将数据集前20个图片数据可视化显示
# 进行图像大小为20宽、10长的绘图(单位为英寸inch)
plt.figure(figsize=(20,10))
# 遍历MNIST数据集下标数值0~49
for i in range(50):
    # 将整个figure分成5行10列，绘制第i+1个子图。
    plt.subplot(5,10,i+1)
    # 设置不显示x轴刻度
    plt.xticks([])
    # 设置不显示y轴刻度
    plt.yticks([])
    # 设置不显示子图网格线
    plt.grid(False)
    # 图像展示，cmap为颜色图谱，"plt.cm.binary"为matplotlib.cm中的色表
    plt.imshow(train_images[i], cmap=plt.cm.binary)
    # 设置x轴标签显示为图片对应的数字
    plt.xlabel(train_labels[i])
# 显示图片
plt.show()

50张图片如下：在这里插入图片描述

4. 调整图片格式（reshape()）(Q：为什么要reshape？前面不是归一化了吗？)

#调整数据到我们需要的格式
train_images = train_images.reshape((60000, 28, 28, 1))
test_images = test_images.reshape((10000, 28, 28, 1))

train_images.shape,test_images.shape,train_labels.shape,test_labels.shape

在这里插入图片描述

Q：为什么要reshape？前面不是归一化了吗？
归一化是将图片内的像素统一缩小到[0,1]内，虽然图片size没变，但是内部的像素发生变化了，所以需要重新设置一下。（仅为个人理解）

四、构建CNN网络(Q：为啥用这个网络结构？) & 编译 & 训练 & 预测

使用CNN进行应用的一般步骤（5步）：选择模型、构建模型、编译模型、训练模型，及预测模型。

1. 调用tf接口组建CNN结构

MNIST手写数字识别使用的CNN网络结构：
在这里插入图片描述

这里可以把CNN的整体结构理解为一个封装好的函数，内部的卷积、池化等操作就是实现该函数的要素。
对应的代码为：

# 创建并设置卷积神经网络
# 卷积层：通过卷积操作对输入图像进行降维和特征抽取
# 池化层：是一种非线性形式的下采样。主要用于特征降维，压缩数据和参数的数量，减小过拟合，同时提高模型的鲁棒性。
# 全连接层：在经过几个卷积和池化层之后，神经网络中的高级推理通过全连接层来完成。
model = models.Sequential([
    # 设置二维卷积层1，设置32个3*3卷积核，activation参数将激活函数设置为ReLu函数，input_shape参数将图层的输入形状设置为(28, 28, 1)
    # ReLu函数作为激活励函数可以增强判定函数和整个神经网络的非线性特性，而本身并不会改变卷积层
    # 相比其它函数来说，ReLU函数更受青睐，这是因为它可以将神经网络的训练速度提升数倍，而并不会对模型的泛化准确度造成显著影响。
    layers.Conv2D(32, (3, 3), activation='relu', input_shape=(28, 28, 1)),
    #池化层1，2*2采样
    layers.MaxPooling2D((2, 2)),                   
    # 设置二维卷积层2，设置64个3*3卷积核，activation参数将激活函数设置为ReLu函数
    layers.Conv2D(64, (3, 3), activation='relu'),  
    #池化层2，2*2采样
    layers.MaxPooling2D((2, 2)),                   
    
    layers.Flatten(),                    #Flatten层，连接卷积层与全连接层
    layers.Dense(64, activation='relu'), #全连接层，特征进一步提取，64为输出空间的维数，activation参数将激活函数设置为ReLu函数
    layers.Dense(10)                     #输出层，输出预期结果，10为输出空间的维数
])
# 打印网络结构
model.summary()

打印的网络结构如下：
在这里插入图片描述

Q：为啥用这个网络结构？
简单的CNN由这几个元素组成，并且也能够胜任识别手写数字的任务。（仅为个人理解）

2. 编译模型（Q：为啥使用Adam优化器和交叉熵损失函数？）

优化器、损失函数以及metrics具体介绍(原作：K同学)

"""
这里设置优化器、损失函数以及metrics
"""
# model.compile()方法用于在配置训练方法时，告知训练时用的优化器、损失函数和准确率评测标准
model.compile(
	# 设置优化器为Adam优化器
    optimizer='adam',
	# 设置损失函数为交叉熵损失函数（tf.keras.losses.SparseCategoricalCrossentropy()）
    # from_logits为True时，会将y_pred转化为概率（用softmax），否则不进行转换，通常情况下用True结果更稳定
    loss=tf.keras.losses.SparseCategoricalCrossentropy(from_logits=True),
    # 设置性能指标列表，将在模型训练时监控列表中的指标
    metrics=['accuracy'])

Q：为啥使用Adam优化器和交叉熵损失函数？
（1）Adam优化器
（2）在模型输出为分类标签的概率时，直接以标签和概率做比较也不够合理，人们更习惯使用交叉熵误差作为分类问题的损失衡量。基本思想是：最大似然估计，也是贝叶斯公式的思想之一。
参考：2.4mnist手写数字识别之损失函数精讲

3. 训练模型

共计训练10个epoch。关于epoch、iteration、batchsize的区别：
（1）batchsize：批大小。在深度学习中，一般采用SGD训练，即每次训练在训练集中随机取batchsize个样本训练；
（2）iteration：1个iteration等于使用batchsize个样本训练一次；也就是1 iteration = 一个正向通过+一个反向通过；
（3）epoch：1个epoch等于使用训练集中的全部样本训练一次；1 epoch = 所有训练样本的一个正向传递 + 一个反向传递。

举个例子，训练集有1000个样本，batchsize=10，那么训练完整个样本集需要：100次iteration，1次epoch。
model.fit()函数的具体介绍(原作：K同学)

"""
这里设置输入训练数据集（图片及标签）、验证数据集（图片及标签）以及迭代次数epochs
"""
history = model.fit(
    # 输入训练集图片
	train_images, 
	# 输入训练集标签
	train_labels, 
	# 设置10个epoch，每一个epoch都将会把所有的数据输入模型完成一次训练。
	epochs=10, 
	# 设置验证集
    validation_data=(test_images, test_labels))

在这里插入图片描述

4. 查看模型预测效果

随意输入一张数字图片，经过下图中的层层计算，最后在输出层得到预测的结果，预测结果是一组表示每个数字的几率值，几率值最大的那个数字就是最终的预测结果。
在这里插入图片描述
输出测试集中第一张图片的预测结果：

pre = model.predict(test_images) # 对所有测试图片进行预测
pre[1] # 输出第一张图片的预测结果

在这里插入图片描述

Q：这个预测结果里，21.63974是其中最大的值，所以最终第一张图片预测的结果是‘2’？（有打印第一张图片进行查看，确实是‘2’）

五、遇到的问题

（1）导入数据，运行遇到 No module named 'matplotlib，打开cmd安装matplotlib：pip install matplotlib -i https://pypi.tuna.tsinghua.edu.cn/simple。
在这里插入图片描述
安装好之后，运行情况如下：

（2）课外延伸：对服装图像进行分类