NNDL 实验六 卷积神经网络（3）LeNet实现MNIST

已于 2022-10-18 09:33:45 修改
阅读量1.2k 收藏 2
点赞数 1
分类专栏： DeepLearning 文章标签： cnn 深度学习 计算机视觉
于 2022-09-10 21:11:41 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_38975453/article/details/126799661
版权

目录

5.3 基于LeNet实现手写体数字识别实验

5.3.2 模型构建

5.3.3 模型训练

5.3.4 模型评价

5.3.5 模型预测

使用前馈神经网络实现MNIST识别，与LeNet效果对比。（选做）

可视化LeNet中的部分特征图和卷积核，谈谈自己的看法。（选做）

手写体数字识别是计算机视觉中最常用的图像分类任务，让计算机识别出给定图片中的手写体数字（0-9共10个数字）。由于手写体风格差异很大，因此手写体数字识别是具有一定难度的任务。

我们采用常用的手写数字识别数据集：MNIST数据集。

MNIST handwritten digit database, Yann LeCun, Corinna Cortes and Chris Burges

MNIST数据集是计算机视觉领域的经典入门数据集，包含了60,000个训练样本和10,000个测试样本。

这些数字已经过尺寸标准化并位于图像中心，图像是固定大小(28×28像素)。

5.3 基于LeNet实现手写体数字识别实验

LeNet-5虽然提出的时间比较早，但它是一个非常成功的神经网络模型。

基于LeNet-5的手写数字识别系统在20世纪90年代被美国很多银行使用，用来识别支票上面的手写数字。

5.3.2 模型构建

这里的LeNet-5和原始版本有4点不同：

  1. C3层没有使用连接表来减少卷积数量。
  2. 汇聚层使用了简单的平均汇聚，没有引入权重和偏置参数以及非线性激活函数。
  3. 卷积层的激活函数使用ReLU函数。
  4. 最后的输出层为一个全连接线性层。

网络共有7层，包含3个卷积层、2个汇聚层以及2个全连接层的简单卷积神经网络接，受输入图像大小为32×32=1024，输出对应10个类别的得分。

1.测试LeNet-5模型，构造一个形状为 [1,1,32,32]的输入数据送入网络，观察每一层特征图的形状变化。

2.

使用自定义算子，构建LeNet-5模型

自定义的Conv2D和Pool2D算子中包含多个for循环，所以运算速度比较慢。

飞桨框架中，针对卷积层算子和汇聚层算子进行了速度上的优化，这里基于paddle.nn.Conv2D、paddle.nn.MaxPool2D和paddle.nn.AvgPool2D构建LeNet-5模型，对比与上边实现的模型的运算速度。

使用pytorch中的相应算子，构建LeNet-5模型

torch.nn.Conv2d()；torch.nn.MaxPool2d()；torch.nn.avg_pool2d()

3.测试两个网络的运算速度。

4.令两个网络加载同样的权重，测试一下两个网络的输出结果是否一致。

5.统计LeNet-5模型的参数量和计算量。

在飞桨中，还可以使用paddle.flopsAPI自动统计计算量。pytorch可以么？

5.3.3 模型训练

使用交叉熵损失函数，并用随机梯度下降法作为优化器来训练LeNet-5网络。
用RunnerV3在训练集上训练5个epoch，并保存准确率最高的模型作为最佳模型。

5.3.4 模型评价

使用测试数据对在训练过程中保存的最佳模型进行评价，观察模型在测试集上的准确率以及损失变化情况。

5.3.5 模型预测

同样地，我们也可以使用保存好的模型，对测试集中的某一个数据进行模型预测，观察模型效果。

使用前馈神经网络实现MNIST识别，与LeNet效果对比。（选做）

可视化LeNet中的部分特征图和卷积核，谈谈自己的看法。（选做）

斋藤康毅：

深度学习入门：基于Python的理论与实现 (ituring.com.cn)

 

​​​​​​​ 

 

 

 ref：

NNDL 实验5（上） - HBU_DAVID - 博客园 (cnblogs.com)

NNDL 实验5（下） - HBU_DAVID - 博客园 (cnblogs.com)

6. 卷积神经网络 — 动手学深度学习 2.0.0-beta1 documentation (d2l.ai)

7. 现代卷积神经网络 — 动手学深度学习 2.0.0-beta1 documentation (d2l.ai)

HBU_David
关注
  • 1
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
全连接层解决MNIST
Aliz_
08-03 8046
Tensorflow 一开始呢，让我们先了解一下tensorflow的运行方式。简单来说，我们使用步骤一共有三个：创建图，运行图，保存图。 Tensorflow的计算是在图(graph)里面计算的，因此我们必须按照自己的需求来设计一张图。当然图的意思不是代表图片，而是代表一种结构。当创建好图之后，我们导入数据（也叫喂数据）来运行这张图。运行的过程中我们需要调整自己的参数。假如结果符合我...
【计算机视觉】LeNet方法实现手写体识别（MNIST数据集）
Rolla的博客
06-03 2776
目录 一、MINST数据集的特点 一、MINST数据集的特点 部分数据： 1、数字的笔画无间断 2、数字
LeNet讲解+代码实现，训练MNIST数据集（Pytorch）
最新发布
m0_74055982的博客
05-08 1211
LeNet是一系列网络的合称，包括LeNet1-LeNet5，由Yann LeCun等人 在1990年《Handwritten Digit Recognition with a Back-Propagation Network》中提出，是卷积神经网络的开山之作，也是将深度学习推向繁荣的一座里程碑。LeNet是一种图像分类模型，应用于支票或邮件编码上的手写数字的识别，该作者的Yann LeCun也被称为卷积神经网络之父，深度学习在现在的发展离不开这位伟大科学家辛勤付出。
【深度学习】基于华为MindSpore和pytorch的卷积神经网络LeNet5实现MNIST手写识别
m0_53700832的博客
05-08 3000
共享权重（Shared Weights）：在卷积过程中，每个卷积核所对应的窗口会以一定的步长在输入矩阵（图像）上不断滑动并进行卷积操作，最后，每个卷积核会生成一个对应的feature map（也就是卷积核的输出），一个feature map中的每一个单元都是由相同的权重（也就是对应的卷积核内的数值）计算得到的，这就是共享权重。请基于pytorch和mindspore平台，利用MNIST数据集，选择一个典型卷积模型，构建一个自己的卷积模型，以分类的准确度和混淆矩阵为衡量指标，分析两个模型的分类精度。
深度学习之MNIST数据集
m0_52336884的博客
06-29 597
例如：随着人工智能的不断发展，机器学习这门技术也越来越重要，很多人都开启了学习机器学习，本文就介绍了机器学习的基础内容。​MNIST是一个手写体数字的图片数据集，一共统计了来自250个不同的人手写数字图片。详细信息点击https://blog.csdn.net/tony_vip/article/details/118735261MNIST数据集官网： MNIST handwritten digit database, Yann LeCun, Corinna Cortes and Chris Burges进入
CNN卷积神经网络—LeNet原理以及tensorflow实现mnist手写体训练
CAnCErWu的博客
06-03 1473
CNN卷积神经网络—LeNet原理以及实现minst手写体训练1. LeNet原理 1. LeNet原理 LeNet是Yann LeCun在1998年设计的用于手写数字识别的卷积神经网络，该神经网络充分考虑图像的相关性。 LeNet-5神经网络共有7层（不包括输入层）其中有2个卷积层，2个池化层，3个全连接层，每一层都包括不同数量的训练参数。 （LeCun 原论文中 LeNet-5 的经典结构...
实验环境5-1所需要的nndl包
10-28
然而，要充分利用nndl实现高性能的神经网络，还需要对深度学习的基本原理有深入理解，包括反向传播、梯度消失与爆炸等问题。在实验环境5-1中，通过实践nndl，可以进一步巩固理论知识，提升动手能力，为未来的AI项目...
邱锡鹏著 《神经网络与深度学习》案例与实践实验1-5中所需的nndl包
11-10
如出现如下问题均可导入nndl包均...1、实验中出现from nndl.dataset import load_data报错的 2、No module named 'nndl' 3、运行是显示ModuleNotFoundError: No module named 'nndl' 去下载nndl这个模块的时候显示没有
NNDL:神经网络与深度学习
03-07
3. 卷积神经网络：详解CNN的结构、卷积层、池化层和全连接层，以及它们在图像识别中的应用。 4. 循环神经网络：RNNs的基本概念、LSTMs的工作原理以及在序列数据处理中的应用。 5. 深度学习框架：如TensorFlow和...
NNDL:神经网络和深度学习课程回购
04-12
神经网络神经网络和深度学习课程库。 它包含以下问题：找到函数f（x）= x 4 + 3 * x 2 + 10的全局最小值。作业2： 它包含以下问题：找到函数f（x，y）= x 2 + y 2 + 10的x和y的全局最优点。作业3： 它包括对点采样的...
神经⽹络与深度学习nndl-ebook.zip
05-14
书中会深入讨论卷积神经网络（CNN）和循环神经网络（RNN），这两种网络结构在图像和序列数据处理中有着广泛的应用。特别是，长短期记忆网络（LSTM）作为一种特殊的RNN变体，解决了传统RNN训练中的梯度消失问题，对于...
mnist（包含数据集利用Lenet实现）.zip
09-16
利用keras使用mnist数据集进行训练，分类，测试。可以得到较好的结果（包含mnist数据集），亲测有效，自行编写，共同学习。
LeNet网络搭建与基本训练流程
yzfzzz的博客
07-07 851
本文主要讲述了Lenet模型、预处理、加载数据集、训练：加载模型、定义损失函数、优化器、训练循环以及测试
基于keras中Lenet对于mnist的处理
weixin_55982578的博客
09-11 235
MNIST（Modified National Institute of Standards and Technology database）是一个经典的手写数字数据集，通常用于计算机视觉和机器学习的基准测试。这有助于理解卷积层在图像中检测到的不同特征或模式。通过在 plt.subplot() 中设置合适的行列数和位置，可以将多个特征图显示在同一图像中，以便一次性查看多个特征。然而，MNIST仍然具有一定的挑战性，因为手写数字的风格和字体会有很大的差异，有些数字可能写得非常潦草或难以识别。
NNDL 实验六 卷积神经网络(3)LeNet实现MNIST
qq_52551768的博客
10-28 668
NNDL 实验六 卷积神经网络（3）LeNet实现MNIST
mnist和Lenet
jingtingxu369的博客
10-30 496
mnist是手写字体识别的数据库。 LeNet:是网络 caffe中用的模型结构是非常著名的手写体识别模型LeNet，唯一的区别是把其中的sigmoid激活函数换成了ReLU，整个结构中包含两个convolution layer、两个pooling layer和两个fully connected layer。结构定义在$caffe/examples/mnist/lenet_train_te
用PyTorch搭建一个简单的线性层网络在FashionMNIST数据进行分类
weixin_46088099的博客
06-28 767
Pytorch 搭建线性深度学习网络在FashionMNIST数据集上训练分类并测试
机器学习入门（一）--MNIST（pytorch）模型的构造以及使用（详细）
热门推荐
a1105425455的博客
06-10 1万+
识别手写数字（MNIST数据集） model的构建 1.加载必要的库 import torch import torch.nn as nn import torch.nn.functional as F import torch.optim as optim from torchvision import datasets,transforms 2.确定超参数 BATCH_SIZE = 64#每批处理的数据 一次性多少个 DEVICE = torch.device("cuda")#使用GPU EPOCH
2、编程练习：利用卷积神经网络，处理MNIST 数据集分类问题。 https://github.com/nndl/exercise/
05-04
好的，以下是处理 MNIST 数据集分类问题的卷积神经网络的代码： ```python import tensorflow as tf from tensorflow.examples.tutorials.mnist import input_data # 加载 MNIST 数据集 mnist = input_data.read_data_sets("MNIST_data/", one_hot=True) # 定义输入和输出的占位符 x = tf.placeholder(tf.float32, [None, 784]) y_true = tf.placeholder(tf.float32, [None, 10]) # 将输入数据转换为图片的形式 x_image = tf.reshape(x, [-1, 28, 28, 1]) # 第一层卷积 conv1 = tf.layers.conv2d(inputs=x_image, filters=32, kernel_size=[5, 5], padding="same", activation=tf.nn.relu) # 第一层池化 pool1 = tf.layers.max_pooling2d(inputs=conv1, pool_size=[2, 2], strides=2) # 第二层卷积 conv2 = tf.layers.conv2d(inputs=pool1, filters=64, kernel_size=[5, 5], padding="same", activation=tf.nn.relu) # 第二层池化 pool2 = tf.layers.max_pooling2d(inputs=conv2, pool_size=[2, 2], strides=2) # 将图像数据展开为一维向量 pool2_flat = tf.reshape(pool2, [-1, 7 * 7 * 64]) # 第一层全连接层 fc1 = tf.layers.dense(inputs=pool2_flat, units=1024, activation=tf.nn.relu) # Dropout keep_prob = tf.placeholder(tf.float32) fc1_drop = tf.nn.dropout(fc1, keep_prob) # 第二层全连接层 y_pred = tf.layers.dense(inputs=fc1_drop, units=10) # 定义损失函数和优化器 cross_entropy = tf.reduce_mean(tf.nn.softmax_cross_entropy_with_logits_v2(labels=y_true, logits=y_pred)) train_step = tf.train.AdamOptimizer(1e-4).minimize(cross_entropy) # 定义准确率 correct_prediction = tf.equal(tf.argmax(y_pred, 1), tf.argmax(y_true, 1)) accuracy = tf.reduce_mean(tf.cast(correct_prediction, tf.float32)) # 开始训练 with tf.Session() as sess: sess.run(tf.global_variables_initializer()) for i in range(20000): batch_x, batch_y = mnist.train.next_batch(50) sess.run(train_step, feed_dict={x: batch_x, y_true: batch_y, keep_prob: 0.5}) if i % 100 == 0: train_acc = sess.run(accuracy, feed_dict={x: batch_x, y_true: batch_y, keep_prob: 1.0}) print("Step %d, training accuracy %g" % (i, train_acc)) # 在测试集上计算准确率 test_acc = sess.run(accuracy, feed_dict={x: mnist.test.images, y_true: mnist.test.labels, keep_prob: 1.0}) print("Test accuracy %g" % test_acc) ``` 这个代码使用了两个卷积层和两个全连接层，以及池化和 Dropout。 在训练过程中，我们每 100 次迭代输出一次训练集上的准确率，并在最后输出测试集上的准确率。 你可以将该代码保存到一个 Python 文件中，然后在命令行中运行该文件来执行训练和测试。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值