用mnist训练LeNet-5模型

最新推荐文章于 2024-05-08 13:54:32 发布
最新推荐文章于 2024-05-08 13:54:32 发布
阅读量1k 收藏 11
点赞数 2
分类专栏： 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_46161549/article/details/118141941
版权

内容简介

  • 模型剖析
  • 构建全连接神经网络
  • 优化全连接神经网络模型，提高准确率
  • LeNet-5模型

模型剖析

  • 查看mnist数据集信息

     # 引入keras
 from tensorflow import keras
 import matplotlib.pyplot as plt
 
 # 加载mnist数据集
 (train_images, train_labels), (test_images, test_labels) = keras.datasets.mnist.load_data()
 	
 # 查看mnist数据集的训练集、测试集的大小，查看第一张图片的信息，并绘制第一张图片
 print(train_images.shape, test_images.shape)
 # 查看第一张图片
 print(train_images[0])
 print(train_labels[0])
 plt.imshow(train_images[0])
 plt.show()

    mnist数据集信息
    在这里插入图片描述
    第一张图片的信息（28x28的向量，5是对应标签）

    在这里插入图片描述

  • 将图片展开成一维

    原数据是60000张28x28大小的图片，图片展开后变成了60000个28*28=784维的向量（按行展开）

     train_images = train_images.reshape((60000, 28 * 28)).astype('float')
 test_images = test_images.reshape((10000, 28 * 28)).astype('float')

  • one-hot编码

    One-hHot编码，又称为一位有效编码，主要是采用N为状态寄存器来对N个状态进行编码，每个状态都由独立的寄存器位，并且在任意时候只有一位有效。
    One-Hot编码是分类变量作为二进制向量的表示，这要求先将分类值映射到整数值，然后每个整数值被表示为二进制向量，除了整数的索引之外，其它都是零值，被标记为1。简单点说one-hot编码将N个多分类问题转化为N个独立的二分类。

     train_labels = keras.utils.to_categorical(train_labels)
 test_labels = keras.utils.to_categorical(test_labels)

    训练集标签进行one-hot编码

     [0. 0. 0. 0. 0. 1. 0. 0. 0. 0.]

  • 设置网络模型

     # 搭建全连接神经网络模型
 model = keras.Sequential()
 model.add(keras.layers.Dense(units=15, activation='relu', input_shape=(28*28, ),))
 model.add(keras.layers.Dense(units=10, activation='softmax'))
 
 # 设置优化器和损失函数
 model.compile(optimizer=keras.optimizers.RMSprop(lr=0.001), loss=keras.losses.categorical_crossentropy,
               metrics=['accuracy'])
 # 用fit函数训练网络，epochs表示训练的轮数，batch_size表示每次训练给多大的数据
 model.fit(train_images, train_labels, epochs=20, batch_size=128, verbose=2)

  • 验证模型

     # 测试集上进行验证
 test_loss, test_accuracy = model.evaluate(test_images, test_labels)

构建全连接神经网络

# @function: mnist数据集
# @Description:一只萤火虫

from tensorflow import keras
import matplotlib.pyplot as plt

# 加载mnist数据集
(train_images, train_labels), (test_images, test_labels) = keras.datasets.mnist.load_data()

# # 查看mnist数据集的训练集、测试集的大小，查看第一张图片的信息，并绘制第一张图片
# print(train_images.shape, test_images.shape)
# # 查看第一张图片
# print(train_images[0])
# print(train_labels[0])
# plt.imshow(train_images[0])
# plt.show()

# 将图片由二维展开成一维,即one-hot编码
train_images = train_images.reshape((60000, 28 * 28)).astype('float')
test_images = test_images.reshape((10000, 28 * 28)).astype('float')
# print(train_images[0])
train_labels = keras.utils.to_categorical(train_labels)
test_labels = keras.utils.to_categorical(test_labels)
# print(train_labels[0])

# 搭建全连接神经网络模型
model = keras.Sequential()
model.add(keras.layers.Dense(units=15, activation='relu', input_shape=(28*28, ),))
model.add(keras.layers.Dense(units=10, activation='softmax'))

# 设置优化器和损失函数
model.compile(optimizer=keras.optimizers.RMSprop(lr=0.001), loss=keras.losses.categorical_crossentropy,
              metrics=['accuracy'])
# 用fit函数训练网络，epochs表示训练的轮数，batch_size表示每次训练给多大的数据
model.fit(train_images, train_labels, epochs=20, batch_size=128, verbose=2)

# # 查看模型结构：每层神经元、训练参数的数目
# print(model.summary())

# # 查看前五张图片的预测结果
# p = model.predict(test_images[:5])
# print(p, test_labels[:5])

# 测试集上进行验证
test_loss, test_accuracy = model.evaluate(test_images, test_labels)

训练及测试结果：

Epoch 1/20
2021-06-23 10:24:08.827897: I tensorflow/stream_executor/platform/default/dso_loader.cc:49] Successfully opened dynamic library cublas64_11.dll
2021-06-23 10:24:09.552317: I tensorflow/stream_executor/platform/default/dso_loader.cc:49] Successfully opened dynamic library cublasLt64_11.dll
469/469 - 4s - loss: 2.8857 - accuracy: 0.3163
……
……
Epoch 19/20
469/469 - 1s - loss: 0.3623 - accuracy: 0.9068
Epoch 20/20
469/469 - 1s - loss: 0.3578 - accuracy: 0.9089
313/313 [==============================] - 1s 2ms/step - loss: 0.4241 - accuracy: 0.9053

优化模型，提高准确率

  • 过拟合

    当增加全连接层的层数和神经元数目后，训练参数也会迅速增加。

    模型训练时，在到达一个临界点之后，训练集的误差下降，测试集的误差上升了，这个时候就进入了过拟合区域（模型复杂度高于实际问题，模型在训练集上表现很好，但在测试集上却表现很差），此时需要采取方法防止过拟合

  • 模型优化

    采用正则化和Dropout来防止过拟合。

  • 模型优化后的代码：

    # @function: mnist数据集
# @Description:一只萤火虫
from tensorflow import keras

# 加载mnist数据集
(train_images, train_labels), (test_images, test_labels) = keras.datasets.mnist.load_data()

# 将图片由二维展开成一维,即one-hot编码
train_images = train_images.reshape((60000, 28 * 28)).astype('float')
test_images = test_images.reshape((10000, 28 * 28)).astype('float')
# print(train_images[0])
train_labels = keras.utils.to_categorical(train_labels)
test_labels = keras.utils.to_categorical(test_labels)
# print(train_labels[0])

# 搭优化神经网络模型
model = keras.Sequential()
model.add(keras.layers.Dense(units=128, activation='relu', input_shape=(28*28, ),
                             kernel_regularizer=keras.regularizers.l1(0.0001)))
model.add(keras.layers.Dropout(0.01))
model.add(keras.layers.Dense(units=32, activation='relu', kernel_regularizer=keras.regularizers.l1(0.0001)))
model.add(keras.layers.Dropout(0.01))
model.add(keras.layers.Dense(units=10, activation='softmax'))
# 设置优化器和损失函数
model.compile(optimizer=keras.optimizers.RMSprop(lr=0.001), loss=keras.losses.categorical_crossentropy,
              metrics=['accuracy'])
# 用fit函数训练网络，epochs表示训练的轮数，batch_size表示每次训练给多大的数据
model.fit(train_images, train_labels, epochs=20, batch_size=128, verbose=2)

# 测试集上进行验证
test_loss, test_accuracy = model.evaluate(test_images, test_labels)

    训练及测试结果：

     Epoch 1/20
 2021-06-23 10:36:08.883801: I tensorflow/stream_executor/platform/default/dso_loader.cc:49] Successfully opened dynamic library cublas64_11.dll
 2021-06-23 10:36:09.384156: I tensorflow/stream_executor/platform/default/dso_loader.cc:49] Successfully opened dynamic library cublasLt64_11.dll
 469/469 - 3s - loss: 2.4091 - accuracy: 0.6500
 Epoch 2/20
 469/469 - 2s - loss: 0.8640 - accuracy: 0.8288
 ……
 ……
 Epoch 17/20
 469/469 - 2s - loss: 0.2044 - accuracy: 0.9707
 Epoch 18/20
 469/469 - 2s - loss: 0.2053 - accuracy: 0.9704
 Epoch 19/20
 469/469 - 2s - loss: 0.2034 - accuracy: 0.9702
 Epoch 20/20
 469/469 - 2s - loss: 0.1981 - accuracy: 0.9717
 313/313 [==============================] - 1s 3ms/step - loss: 0.2491 - accuracy: 0.9619

LeNet-5模型

# @function: LeNet-5卷积网络
# @Description:一只萤火虫
import time
from tensorflow import keras

# 开始时间
start = time.time()

# 加载数据集
(train_images, train_labels), (test_images, test_labels) = keras.datasets.mnist.load_data()

# 将数据进行归一化处理，对标签施加one-hot编码
train_images = train_images.reshape((60000, 28, 28, 1)).astype('float')/255
test_images = test_images.reshape((10000, 28, 28, 1)).astype('float')/255
train_labels = keras.utils.to_categorical(train_labels)
test_labels = keras.utils.to_categorical(test_labels)


# 构建LeNet-5网络
model = keras.Sequential([
        keras.layers.Conv2D(filters=6, kernel_size=(3, 3), activation='relu', input_shape=(28, 28, 1)),
        keras.layers.AveragePooling2D((2, 2)),
        keras.layers.Conv2D(filters=16, kernel_size=(3, 3), activation='relu'),
        keras.layers.AveragePooling2D((2, 2)),
        keras.layers.Conv2D(filters=120, kernel_size=(3, 3), activation='relu'),
        keras.layers.Flatten(),
        keras.layers.Dense(84, activation='relu'),
        keras.layers.Dense(10, activation='softmax'),
])

model.compile(optimizer=keras.optimizers.RMSprop(lr=0.001), loss=keras.losses.categorical_crossentropy,
              metrics=['accuracy'])

# 训练网络，用fit函数，epochs表示训练多少个回合，batch_size表示每次训练给多大的数据
model.fit(train_images, train_labels, epochs=10, batch_size=128, verbose=2)
# 在测试集上验证模型
test_loss, test_accuracy = model.evaluate(test_images, test_labels)
print("\n", "test_loss:", test_loss, "test_accuracy:", test_accuracy)
# 结束时间
end = time.time()
print("\n", "Execution Time:", end - start, "s")

训练及测试结果：

Epoch 1/10
2021-06-23 10:50:59.639936: I tensorflow/stream_executor/platform/default/dso_loader.cc:49] Successfully opened dynamic library cublas64_11.dll
2021-06-23 10:51:00.364340: I tensorflow/stream_executor/platform/default/dso_loader.cc:49] Successfully opened dynamic library cublasLt64_11.dll
2021-06-23 10:51:00.375769: I tensorflow/stream_executor/platform/default/dso_loader.cc:49] Successfully opened dynamic library cudnn64_8.dll
2021-06-23 10:51:01.893352: I tensorflow/core/platform/windows/subprocess.cc:308] SubProcess ended with return code: 0

2021-06-23 10:51:01.963482: I tensorflow/core/platform/windows/subprocess.cc:308] SubProcess ended with return code: 0

469/469 - 9s - loss: 0.3203 - accuracy: 0.9038
……
……
Epoch 9/10
469/469 - 3s - loss: 0.0193 - accuracy: 0.9938
Epoch 10/10
469/469 - 3s - loss: 0.0169 - accuracy: 0.9945
313/313 [==============================] - 1s 4ms/step - loss: 0.0312 - accuracy: 0.9902

 test_loss: 0.0312091913074255 test_accuracy: 0.9901999831199646

 Execution Time: 48.035783767700195 s
「已注销」
关注
  • 2
    点赞
  • 踩
  • 11
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
MATLAB从入门到精通：MATLAB识别 自带手写数字集的CNN（LeNet5）
wenyusuran的专栏
11-07 1767
一、前言 利用MATLAB实践MNIST手写数字识别，下载手写数据集的准备工作有些麻烦。 MATLAB 2021版可以直接调用MNIST部分数据进行CNN手写数字识别实践。 直接上程序。
NNDL 实验六 卷积神经网络（3）LeNet实现MNIST
qq_51316271的博客
11-02 286
目录5.3 基于LeNet实现手写体数字识别实验5.3.1 数据集5.3.2 模型构建5.3.2.1 使用自定义算子，构建LeNet-5模型5.3.2.2使用pytorch中的相应算子，构建LeNet-5模型5.3.2.3 测试LeNet-5模型，构造一个形状为 [1,1,32,32]的输入数据送入网络，观察每一层特征图的形状变化。5.3.2.4 测试两个网络的运算速度。5.3.2.5 令两个网络加载同样的权重，测试一下两个网络的输出结果是否一致。5.3.2.6 统计LeNet-5模型的参数量和计算量。5
lenet 5 代码 matlab,Lenet 和 Lenet5 结构简单粗暴详解(附完整代码)
weixin_28909745的博客
03-20 1336
LeNetLeNet 早期用来识别手写体数字的图像的卷积神经网络组成部分：卷积层块全连接层块138CFD41-65C8-4ED7-9FB6-ACA8D5E98FEF.pngimage.png直接上代码--- 以下是LeNet 的代码# -- encoding:utf-8 --"""Create on 19/5/25 10:06"""import osimport tensorflow as tff...
LeNet讲解+代码实现，训练MNIST数据集（Pytorch）
最新发布
m0_74055982的博客
05-08 1215
LeNet是一系列网络的合称，包括LeNet1-LeNet5，由Yann LeCun等人 在1990年《Handwritten Digit Recognition with a Back-Propagation Network》中提出，是卷积神经网络的开山之作，也是将深度学习推向繁荣的一座里程碑。LeNet是一种图像分类模型，应用于支票或邮件编码上的手写数字的识别，该作者的Yann LeCun也被称为卷积神经网络之父，深度学习在现在的发展离不开这位伟大科学家辛勤付出。
MATLAB-LeNet5-master_MATLAB-Lenet5_MATLAB数字识别_CNNMATLAB_matlable
09-11
手写体识别 lenet5 LeNet5由7层CNN（不包含输入层）组成，上图中输入的原始图像大小是32×32像素，卷积层用Ci表示，子采样层（pooling，池化）用Si表示，全连接层用Fi表示。下面逐层介绍其作用和示意图上方的数字含义。
基于LeNet网络的MNIST手写数字训练和识别matlab仿真
MATLAB,verilog,python,opencv,tensorflow,caffe,C,C++
07-07 646
基于LeNet网络的MNIST手写数字训练和识别的实现步骤。首先，我们将介绍MNIST数据集的基本信息和LeNet网络的结构及其原理。然后，我们将详细说明数据预处理、LeNet网络的实现过程和训练过程。最后，我们将展示如何使用训练好的LeNet网络对手写数字进行识别，并对实验结果进行分析和总结。
Matlab深度学习实战一：LeNe-5图像分类篇MNIST数据集分十类且matlab提供模型框架全网为唯一详细操作流程
qq_55433305的博客
11-24 4541
Matlab深度学习实战一：LeNe-5图像分类篇MNIST数据集分十类且matlab提供模型框架全网为唯一详细操作流程。**1.数据集简介下载与准备 2.matlab搭建模型相关知识 3.matlab软件的操作过程： （1）界面操作 （2）深度学习设计器使用 （3）图像数据导入 （4）训练可视化
LeNet5的一个MATLAB实现的代码解析（3）
tigerc0的博客
09-21 448
求一阶导数的例程。加注释。
LeNet-5.rar_LeNet-5模型_LeNet模型 PPT_lenet_lenet识别_神经网络
07-15
在本资料包中，我们重点探讨LeNet-5模型的结构、工作原理以及其在MNIST数据集上的应用。 **一、LeNet-5结构** LeNet-5模型主要由以下几个部分组成： 1. **输入层（Input Layer）**：接收28x28像素的手写数字图像...
lenet-5模型的手写数字识别
04-17
在Python环境中，我们可以使用TensorFlow、Keras或者PyTorch等深度学习框架来实现LeNet-5模型。这些框架都提供了丰富的API，使得构建和训练模型变得更加方便。例如，在Keras中，可以这样构建LeNet-5模型： ```...
lenet_5模型-MATLAB代码实现
10-28
1. **导入数据集**：LeNet-5常使用MNIST数据集，包含了60000个训练样本和10000个测试样本的手写数字。MATLAB内置了MNIST数据集的加载函数，可以方便地读取数据。 2. **预处理数据**：包括归一化、灰度化等操作，使...
linux cpp 手写算法从零实现CNN经典网络LeNet-5, 最后用MNIST手写数字识别数据集来训练和测试.zip
12-28
linux cpp 手写算法从零实现CNN经典网络LeNet-5, 最后用MNIST手写数字识别数据集来训练和测试一下LeNet-5模型。 linux cpp 手写算法从零实现CNN经典网络LeNet-5, 最后用MNIST手写数字识别数据集来训练和测试一下...
LeNet-5识别MNIST手写数字数据集（PyTorch）
10-14
通过使用PyTorch实现的LeNet-5模型，我们可以有效地对MNIST手写数字数据集进行分类。这个过程不仅展示了卷积神经网络的基本工作原理，也体现了PyTorch在深度学习实践中灵活和强大的特性。通过不断调整模型参数和优化...
LeNet5与MNIST--tensorflow下的训练模型参数及非深度学习框架下纯python网络实现并前向参数验证
Jason的博客
08-16 336
# 输入层不算神经网络的层数，LeNet-5 是一个 5 层的网络。（把 卷积和池化 当作一个 layer） # 输入 卷积-池化 卷积-池化 全连接 全连接 全连接输出 import tensorflow as tf from tensorflow.examples.tutorials.mnist import input_data import numpy as np mnist = input_data.read_data_sets('MNIST_data', one_hot=True) #t
深度学习10. CNN经典网络 LeNet-5实现MNIST
编程圈子-谢厂节的博客
03-16 1144
LeNet-5是一个经典的卷积神经网络模型，1998年被提出，论文题目是 “Gradient-Based Learning Applied to Document Recognition” ，作者为 Yann LeCun, Léon Bottou, Yoshua Bengio, and Patrick Haffner。LeNet-5是一个用于手写数字识别的深度神经网络模型，由两个卷积层和三个全连接层组成。LeNet-5是深度神经网络的开创者之一，对后来的深度学习算法发展产生了重要的影响。
【神经网络与深度学习】使用MNIST数据集训练手写数字识别模型——[附完整训练代码]
热门推荐
weixin_45954454的博客
03-06 4万+
【神经网络与深度学习】使用MNIST数据集训练手写数字识别模型——[附完整训练代码]。发现csdn平台上似乎还没有一篇完整的介绍MNIST数据集、完整训练代码和训练好的模型文件，故发此文来对MNIST做一个详细的整合。 MNIST 数据集（手写数字数据集）是一个公开的公共数据集，任何人都可以免费获取它。目前，它已经是一个作为机器学习入门的通用性特别强的数据集之一，所以对于想要学习机器学习分类的、深度神经网络分类的、图像识别与处理的小伙伴，都可以选择MNIST数据集入门。
lenet 5 代码 matlab,对LeNet-5的matlab实现，识别MINST手写数字集
weixin_42508290的博客
03-20 569
对LeNet-5的matlab实现，识别MINST手写数字集matlab2021-1-21下载地址https://www.codedown123.com/59637.html对LeNet-5的matlab实现，识别MINST手写数字集，压缩文件包含程序文件和训练、测试图片文件，程序可直接运行(版本matlab R2008a)资源下载此资源下载价格为2D币，请先登录资源文件列表卷积神经网络 - 副本...
LeNet-5网络 手写数字分类 Matlab
hahahaki的博客
05-18 2789
LeNet-5网络模型图 （引自https://www.cnblogs.com/wuliytTaotao/p/9544625.html） 代码如下（详情见注释，很详细）： %% 导入数据 digitDatasetPath = fullfile('./', '/train_HandWrittenDataset/'); imds = imageDatastore(digitDatasetPath, ... 'IncludeSubfolders',true,'LabelSource','foldern
深度学习入门(一)：LeNet-5教程与详解
xiongxyowo的博客
11-21 1万+
1.什么是LeNet LeNet5诞生于1994年，是最早的卷积神经网络之一，并且推动了深度学习领域的发展。自从1988年开始，在多年的研究和许多次成功的迭代后，这项由Yann LeCun完成的开拓性成果被命名为LeNet5。 LeNet： 主要用来进行手写字符的识别与分类 确立了CNN的结构，现在神经网络中的许多内容在LeNet的网络结构中都能看到 虽然LeNet网络结构比较简单，但是刚好适合神经网络的入门学习。 2.分析 2.1.LeNet结构 如图所示，LeNet共分为7层，分别是： C1，卷
TensorFlow使用LeNet-5实现对MNIST手写数字识别分类模型
06-01
好的，我来回答你的问题。 首先，LeNet-5是一个深度学习模型，用于图像分类任务。而MNIST是一个包含手写数字的数据集，通常用于测试机器学习和深度学习模型的性能。 TensorFlow是一个非常流行的深度学习框架，可以用于构建和训练各种深度学习模型，包括LeNet-5。 下面是使用TensorFlow实现LeNet-5对MNIST手写数字进行分类的基本步骤： 1. 导入必要的库和数据集。 2. 定义模型架构。LeNet-5包括两个卷积层、两个池化层和三个全连接层。 3. 定义损失函数和优化器。在这个例子中，我们使用交叉熵损失函数和Adam优化器。 4. 训练模型。这涉及到迭代数据集，计算损失和更新模型参数的过程。 5. 评估模型性能。使用测试集评估训练好的模型的性能，并计算模型的准确率。 最后，需要保存模型，以便在以后进行预测时使用。 以上就是使用TensorFlow实现LeNet-5对MNIST手写数字进行分类的基本步骤。当然，具体实现还需要更多的细节和调整。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值