第T1周：实现mnist手写数字识别

最新推荐文章于 2024-09-02 23:09:13 发布

lihuhelihu

最新推荐文章于 2024-09-02 23:09:13 发布

阅读量417

点赞数 4

分类专栏： TensorFlow入门实战文章标签：图像处理分类机器学习深度学习神经网络 tensorflow keras

本文链接：https://blog.csdn.net/lihuhelihu/article/details/141791389

版权

TensorFlow入门实战专栏收录该内容

3 篇文章 0 订阅

订阅专栏

本文为365天深度学习训练营中的学习记录博客
原作者：K同学啊

任务：
1.跑通程序
2.了解深度学习是什么

这是TensorFlow的第一篇教案，也是深度学习的入门案例，我们或许可以按照下面的步骤进行学习
●第一步：整体把握每一部分代码的功能，看第1遍
●第二步：把握每一行语句的含义，知道实现的是什么功能就行，这里需要不求甚解，看第2遍
●第三步：动手跟着教案敲一遍代码，把代码跑通

备注：
●如果你之前没有接触过深度学习，第一篇你学起来可能比较蒙，不要着急，等到第3、4篇教案的时候，你会逐步理解的，不要尝试一下就弄明白。
●把程序当做一个黑盒，先去学会使用（这是我们现阶段的任务），然后再去理解其原理。

我的环境：
●语言环境：Python3.6.5
●编译器：jupyter notebook
●深度学习环境：TensorFlow2=2.6.5

一、前期工作

设置GPU（如果使用的是CPU可以忽略这步）

import tensorflow as tf
gpus = tf.config.list_physical_devices("GPU")

if gpus:
    gpu0 = gpus[0] #如果有多个GPU，仅使用第0个GPU
    tf.config.experimental.set_memory_growth(gpu0, True) #设置GPU显存用量按需使用
    tf.config.set_visible_devices([gpu0],"GPU")

导入数据

import tensorflow as tf
from tensorflow.keras import datasets, layers, models
import matplotlib.pyplot as plt

# 导入mnist数据，依次分别为训练集图片、训练集标签、测试集图片、测试集标签
(train_images, train_labels), (test_images, test_labels) = datasets.mnist.load_data()

归一化

数据归一化作用

●使不同量纲的特征处于同一数值量级，减少方差大的特征的影响，使模型更准确。
●加快学习算法的收敛速度。

归一化是将数据“拍扁”统一到区间（仅由极值决定），而标准化是更加“弹性”和“动态”的，和整体样本的分布有很大的关系：

归一化：把数变为（0，1）之间的小数；缩放仅仅跟最大、最小值的差别有关。
标准化：将数据按比例缩放，使之落入一个小的特定区间；缩放与每个点都有关。

归一化(Normalization)
一般来说用的是min-max归一化，缩放到0-1之间，即：
在这里插入图片描述
对于图片来说，由于max是255，min是0，也就是直接除以255就可以完成归一化。

代码实现：

# 将像素的值标准化至0到1的区间内。
train_images, test_images = train_images / 255.0, test_images / 255.0

为什么要进行归一化：

不归一化处理时，如果特征值较大时，梯度值也会较大，特征值较小时，梯度值也会较小。在模型反向传播时，梯度值更新与学习率一样，当学习率较小时，梯度值较小会导致更新缓慢，当学习率较大时，梯度值较大会导致模型不易收敛，因此为了使模型训练收敛平稳，对图像进行归一化操作，把不同维度的特征值调整到相近的范围内，就可以采用统一的学习率加速模型训练。

标准化(Standardization)
将数据变换成均值为0，标准差为1的分布(但不一定为正态)：
在这里插入图片描述
代码实现：

transforms.Normalize(mean = (0.485, 0.456, 0.406), std = (0.229, 0.224, 0.225))

为什么要进行标准化：

提升模型的泛化能力。

参考链接：
https://www.zhihu.com/question/20455227
https://www.zhihu.com/question/20467170
https://blog.csdn.net/qq_40714949/article/details/115267174

本小节的归一化的代码如下

# 将像素的值标准化至0到1的区间内。(对于灰度图片来说，每个像素最大值是255，每个像素最小值是0，也就是直接除以255就可以完成归一化。)
train_images, test_images = train_images / 255.0, test_images / 255.0
# 查看数据维数信息
train_images.shape,test_images.shape,train_labels.shape,test_labels.shape
"""
输出：((60000, 28, 28), (10000, 28, 28), (60000,), (10000,))
"""

代码输出：

'\n输出：((60000, 28, 28), (10000, 28, 28), (60000,), (10000,))\n'

可视化图片

# 将数据集前20个图片数据可视化显示
# 进行图像大小为20宽、10长的绘图(单位为英寸inch)
plt.figure(figsize=(20,10))
# 遍历MNIST数据集下标数值0~49
for i in range(20):
    # 将整个figure分成2行10列，绘制第i+1个子图。
    plt.subplot(2,10,i+1)
    # 设置不显示x轴刻度
    plt.xticks([])
    # 设置不显示y轴刻度
    plt.yticks([])
    # 设置不显示子图网格线
    plt.grid(False)
    # 图像展示，cmap为颜色图谱，"plt.cm.binary"为matplotlib.cm中的色表
    plt.imshow(train_images[i], cmap=plt.cm.binary)
    # 设置x轴标签显示为图片对应的数字
    plt.xlabel(train_labels[i])
# 显示图片
plt.show()

代码输出：
在这里插入图片描述

调整图片格式

#调整数据到我们需要的格式
train_images = train_images.reshape((60000, 28, 28, 1))
test_images = test_images.reshape((10000, 28, 28, 1))

train_images.shape,test_images.shape,train_labels.shape,test_labels.shape
"""
输出：((60000, 28, 28, 1), (10000, 28, 28, 1), (60000,), (10000,))
"""

代码输出：

'\n输出：((60000, 28, 28, 1), (10000, 28, 28, 1), (60000,), (10000,))\n'

二、构建CNN网络模型

网络结构图
在这里插入图片描述

# 创建并设置卷积神经网络
# 卷积层：通过卷积操作对输入图像进行降维和特征抽取
# 池化层：是一种非线性形式的下采样。主要用于特征降维，压缩数据和参数的数量，减小过拟合，同时提高模型的鲁棒性。
# 全连接层：在经过几个卷积和池化层之后，神经网络中的高级推理通过全连接层来完成。
model = models.Sequential([
    # 设置二维卷积层1，设置32个3*3卷积核，activation参数将激活函数设置为ReLu函数，input_shape参数将图层的输入形状设置为(28, 28, 1)
    # ReLu函数作为激活励函数可以增强判定函数和整个神经网络的非线性特性，而本身并不会改变卷积层
    # 相比其它函数来说，ReLU函数更受青睐，这是因为它可以将神经网络的训练速度提升数倍，而并不会对模型的泛化准确度造成显著影响。
    layers.Conv2D(32, (3, 3), activation='relu', input_shape=(28, 28, 1)),
    #池化层1，2*2采样
    layers.MaxPooling2D((2, 2)),                   
    # 设置二维卷积层2，设置64个3*3卷积核，activation参数将激活函数设置为ReLu函数
    layers.Conv2D(64, (3, 3), activation='relu'),  
    #池化层2，2*2采样
    layers.MaxPooling2D((2, 2)),                   
    
    layers.Flatten(),                    #Flatten层，连接卷积层与全连接层
    layers.Dense(64, activation='relu'), #全连接层，特征进一步提取，64为输出空间的维数，activation参数将激活函数设置为ReLu函数
    layers.Dense(10)                     #输出层，输出预期结果，10为输出空间的维数
])
# 打印网络结构
model.summary()

代码输出：

Model: "sequential_1"
_________________________________________________________________
Layer (type)                 Output Shape              Param #   
=================================================================
conv2d_2 (Conv2D)            (None, 26, 26, 32)        320       
_________________________________________________________________
max_pooling2d_2 (MaxPooling2 (None, 13, 13, 32)        0         
_________________________________________________________________
conv2d_3 (Conv2D)            (None, 11, 11, 64)        18496     
_________________________________________________________________
max_pooling2d_3 (MaxPooling2 (None, 5, 5, 64)          0         
_________________________________________________________________
flatten_1 (Flatten)          (None, 1600)              0         
_________________________________________________________________
dense_2 (Dense)              (None, 64)                102464    
_________________________________________________________________
dense_3 (Dense)              (None, 10)                650       
=================================================================
Total params: 121,930
Trainable params: 121,930
Non-trainable params: 0
_________________________________________________________________

三、编译模型

"""
这里设置优化器、损失函数以及metrics
"""
# model.compile()方法用于在配置训练方法时，告知训练时用的优化器、损失函数和准确率评测标准
model.compile(
	# 设置优化器为Adam优化器
    optimizer='adam',
	# 设置损失函数为交叉熵损失函数（tf.keras.losses.SparseCategoricalCrossentropy()）
    # from_logits为True时，会将y_pred转化为概率（用softmax），否则不进行转换，通常情况下用True结果更稳定
    loss=tf.keras.losses.SparseCategoricalCrossentropy(from_logits=True),
    # 设置性能指标列表，将在模型训练时监控列表中的指标
    metrics=['accuracy'])

四、训练模型

model.fit() 参数详解
函数原型：

fit(
    x=None, y=None, batch_size=None, epochs=1, verbose='auto',
    callbacks=None, validation_split=0.0, validation_data=None, shuffle=True,
    class_weight=None, sample_weight=None, initial_epoch=0, steps_per_epoch=None,
    validation_steps=None, validation_batch_size=None, validation_freq=1,
    max_queue_size=10, workers=1, use_multiprocessing=False
)

参数介绍：

fit( x=None, #输入的x值
     y=None, #输入的y标签值
     batch_size=None, #整数 ，每次梯度更新的样本数即批量大小。未指定，默认为32。
     epochs=1, #迭代次数
     verbose=1, #整数，代表以什么形式来展示日志状态
     callbacks=None, #回调函数，这个list中的回调函数将会在训练过程中的适当时机被调用，参考回调函数
     validation_split=0.0, #浮点数0-1之间，用作验证集的训练数据的比例。模型将分出一部分不会被训练的验证数据，并将在每一轮结束时评估这些验证数据的误差和任何其他模型指标。
     validation_data=None, #这个参数会覆盖 validation_split，即两个函数只能存在一个，它的输入为元组 (x_val，y_val)，这作为验证数据。
     shuffle=True, #布尔值。是否在每轮迭代之前混洗数据
     class_weight=None,
     sample_weight=None, 
     initial_epoch=0, 
     steps_per_epoch=None, #一个epoch包含的步数（每一步是一个batch的数据送入），当使用如TensorFlow数据Tensor之类的输入张量进行训练时，默认的None代表自动分割，即数据集样本数/batch样本数。
     validation_steps=None, #在验证集上的step总数，仅当steps_per_epoch被指定时有用。
     validation_freq=1, #指使用验证集实施验证的频率。当等于1时代表每个epoch结束都验证一次
     max_queue_size=10,
     workers=1,
     use_multiprocessing=False
   )

本小节的代码为：

"""
这里设置输入训练数据集（图片及标签）、验证数据集（图片及标签）以及迭代次数epochs
关于model.fit()函数的具体介绍可参考下面的博客：
https://blog.csdn.net/qq_38251616/article/details/122321757
"""
history = model.fit(
    # 输入训练集图片
	train_images, 
	# 输入训练集标签
	train_labels, 
	# 设置20个epoch，每一个epoch都将会把所有的数据输入模型完成一次训练。
	epochs=20, 
	# 设置验证集
    validation_data=(test_images, test_labels))

代码输出：

Epoch 1/20
1875/1875 [==============================] - 38s 20ms/step - loss: 0.1389 - accuracy: 0.9574 - val_loss: 0.0530 - val_accuracy: 0.9826
Epoch 2/20
1875/1875 [==============================] - 37s 20ms/step - loss: 0.0458 - accuracy: 0.9855 - val_loss: 0.0330 - val_accuracy: 0.9887
Epoch 3/20
1875/1875 [==============================] - 37s 20ms/step - loss: 0.0317 - accuracy: 0.9902 - val_loss: 0.0360 - val_accuracy: 0.9875
Epoch 4/20
1875/1875 [==============================] - 37s 20ms/step - loss: 0.0244 - accuracy: 0.9923 - val_loss: 0.0287 - val_accuracy: 0.9904
Epoch 5/20
1875/1875 [==============================] - 37s 20ms/step - loss: 0.0183 - accuracy: 0.9941 - val_loss: 0.0324 - val_accuracy: 0.9897
Epoch 6/20
1875/1875 [==============================] - 37s 20ms/step - loss: 0.0134 - accuracy: 0.9953 - val_loss: 0.0349 - val_accuracy: 0.9893
Epoch 7/20
1875/1875 [==============================] - 37s 20ms/step - loss: 0.0116 - accuracy: 0.9963 - val_loss: 0.0271 - val_accuracy: 0.9927
Epoch 8/20
1875/1875 [==============================] - 37s 20ms/step - loss: 0.0100 - accuracy: 0.9967 - val_loss: 0.0400 - val_accuracy: 0.9894
Epoch 9/20
1875/1875 [==============================] - 37s 20ms/step - loss: 0.0083 - accuracy: 0.9974 - val_loss: 0.0449 - val_accuracy: 0.9881
Epoch 10/20
1875/1875 [==============================] - 37s 20ms/step - loss: 0.0070 - accuracy: 0.9976 - val_loss: 0.0400 - val_accuracy: 0.9912
Epoch 11/20
1875/1875 [==============================] - 37s 20ms/step - loss: 0.0065 - accuracy: 0.9977 - val_loss: 0.0414 - val_accuracy: 0.9898
Epoch 12/20
1875/1875 [==============================] - 37s 20ms/step - loss: 0.0052 - accuracy: 0.9984 - val_loss: 0.0346 - val_accuracy: 0.9908
Epoch 13/20
1875/1875 [==============================] - 37s 20ms/step - loss: 0.0054 - accuracy: 0.9983 - val_loss: 0.0442 - val_accuracy: 0.9898
Epoch 14/20
1875/1875 [==============================] - 37s 20ms/step - loss: 0.0045 - accuracy: 0.9984 - val_loss: 0.0478 - val_accuracy: 0.98970s - loss:
Epoch 15/20
1875/1875 [==============================] - 37s 20ms/step - loss: 0.0046 - accuracy: 0.9985 - val_loss: 0.0463 - val_accuracy: 0.9908
Epoch 16/20
1875/1875 [==============================] - 37s 20ms/step - loss: 0.0050 - accuracy: 0.9984 - val_loss: 0.0488 - val_accuracy: 0.9912
Epoch 17/20
1875/1875 [==============================] - 37s 20ms/step - loss: 0.0032 - accuracy: 0.9988 - val_loss: 0.0425 - val_accuracy: 0.9914
Epoch 18/20
1875/1875 [==============================] - 37s 20ms/step - loss: 0.0028 - accuracy: 0.9991 - val_loss: 0.0521 - val_accuracy: 0.9911
Epoch 19/20
1875/1875 [==============================] - 37s 20ms/step - loss: 0.0044 - accuracy: 0.9986 - val_loss: 0.0530 - val_accuracy: 0.9905
Epoch 20/20
1875/1875 [==============================] - 37s 20ms/step - loss: 0.0026 - accuracy: 0.9991 - val_loss: 0.0688 - val_accuracy: 0.9885

五、预测

通过下面的网络结构我们可以简单理解为，输入一张图片，将会得到一组数，这组代表这张图片上的数字为0~9中每一个数字的几率（并非概率），out数字越大可能性越大，仅此而已。
在这里插入图片描述
在这一步中部分人会因为 matplotlib 版本原因报 Invalid shape (28, 28, 1) for image data 的错误提示，可以将代码改为 plt.imshow(test_images[1].reshape(28,28)) 。

plt.imshow(test_images[1])

代码输出：

<matplotlib.image.AxesImage at 0x1f6b4d9e6d8>

在这里插入图片描述

输出测试集中第一张图片的预测结果

pre = model.predict(test_images) # 对所有测试图片进行预测
pre[1] # 输出第一张图片的预测结果

代码输出：

array([ -2.179506 ,  -1.4719722,  30.625582 , -28.867584 , -10.1490135,
       -43.33919  , -10.651528 , -15.081178 , -17.791538 , -23.751278 ],
      dtype=float32)

六、模型评估

import matplotlib.pyplot as plt

plt.figure(figsize=(12, 4))

plt.subplot(1, 2, 1)
plt.plot(history.history['accuracy'], label='accuracy')
plt.plot(history.history['val_accuracy'], label = 'val_accuracy')
plt.xlabel('Epoch')
plt.ylabel('Accuracy')
plt.legend(loc='lower right')

plt.subplot(1, 2, 2)
plt.plot(history.history['loss'], label='loss')
plt.plot(history.history['val_loss'], label = 'val_loss')
plt.xlabel('Epoch')
plt.ylabel('Accuracy')
plt.legend(loc='upper right')



plt.show()

test_loss, test_acc = model.evaluate(test_images,  test_labels, verbose=2)

代码输出：

在这里插入图片描述

313/313 - 2s - loss: 0.0688 - accuracy: 0.9885

七、知识点详解

本文使用的是最简单的CNN模型 LeNet-5，如果是第一次接触深度学习的话，可以先试着把代码跑通，然后再尝试去理解其中的代码。

MNIST手写数字数据集介绍

MNIST手写数字数据集来源于是美国国家标准与技术研究所，是著名的公开数据集之一。数据集中的数字图片是由250个不同职业的人纯手写绘制，数据集获取的网址为：http://yann.lecun.com/exdb/mnist/（下载后需解压）。我们一般会采用(train_images, train_labels), (test_images, test_labels) = datasets.mnist.load_data()这行代码直接调用，这样就比较简单。

MNIST手写数字数据集中包含了70000张图片，其中60000张为训练数据，10000为测试数据，70000张图片均是28*28，数据集样本如下：

在这里插入图片描述
如果我们把每一张图片中的像素转换为向量，则得到长度为28*28=784的向量。因此我们可以把训练集看成是一个[60000,784]的张量，第一个维度表示图片的索引，第二个维度表示每张图片中的像素点。而图片里的每个像素点的值介于0-1之间。
在这里插入图片描述
2. 神经网络程序说明

神经网络程序可以简单概括如下：
在这里插入图片描述
3. 网络结构说明

模型的结构
在这里插入图片描述

各层的作用

●输入层：用于将数据输入到训练网络
●卷积层：使用卷积核提取图片特征
●池化层：进行下采样，用更高层的抽象表示图像特征
●Flatten层：将多维的输入一维化，常用在卷积层到全连接层的过渡
●全连接层：起到“特征提取器”的作用
●输出层：输出结果

lihuhelihu

关注

4
点赞
踩
21

收藏

觉得还不错? 一键收藏
0
评论
第T1周：实现mnist手写数字识别

不归一化处理时，如果特征值较大时，梯度值也会较大，特征值较小时，梯度值也会较小。在模型反向传播时，梯度值更新与学习率一样，当学习率较小时，梯度值较小会导致更新缓慢，当学习率较大时，梯度值较大会导致模型不易收敛，因此为了使模型训练收敛平稳，对图像进行归一化操作，把不同维度的特征值调整到相近的范围内，就可以采用统一的学习率加速模型训练。通过下面的网络结构我们可以简单理解为，输入一张图片，将会得到一组数，这组代表这张图片上的数字为0~9中每一个数字的几率（并非概率），out数字越大可能性越大，仅此而已。
复制链接

扫一扫

专栏目录