卷积神经网络CNN（LeNet-5算法的tensorflow实现）

最新推荐文章于 2024-08-24 22:15:10 发布
最新推荐文章于 2024-08-24 22:15:10 发布
阅读量784 收藏 7
点赞数
分类专栏： 深度学习

一、LeNet-5算法原理


      LeNet-5模型诞生于1998年，是Yann LeCun教授在论文Gradient-based learning applied to document recognition中提出的，它是第一个成功应用于数字识别问题的卷积神经网络，麻雀虽小五脏俱全，它包含了深度学习的基本模块：卷积层，池化层，全连接层。是其他深度学习模型的基础。
1998论文：http://pdfs.semanticscholar.org/162d/958ff885f1462aeda91cd72582323fd6a1f4.pdf

LeNet-5网络模型详解：https://blog.csdn.net/sinat_24143931/article/details/78958931

LeNet除了输入层，总共有7层。输入是32*32大小的图像

  1. C1是卷积层，卷积层的过滤器尺寸大小为5*5，深度为6，不使用全0补充，步长为1，所以这一层的输出尺寸为32-5+1=28，深度为6。
  2. S2层是一个池化层，这一层的输入是C1层的输出，是一个28286的结点矩阵，过滤器大小为22，步长为2，所以本层的输出为1414*6
  3. C3层也是一个卷积层，本层的输入矩阵为14146，过滤器大小为55，深度为16，不使用全0补充，步长为1，故输出为1010*16
  4. S4层是一个池化层 ，输入矩阵大小为101016，过滤器大小为22，步长为2，故输出矩阵大小为55*16
  5. C5层是一个卷积层，过滤器大小为55，和全连接层没有区别，这里可看做全连接层。输入为5516矩阵，将其拉直为一个长度为55*16的向量，即将一个三维矩阵拉直到一维向量空间中，输出结点为120。
  6. F6层是全连接层 ，输入结点为120个，输出结点为84个
  7. 输出层也是全连接层，输入结点为84个，输出节点个数为10。

                                   LeNet-5识别数字3的过程

通过对LeNet-5的网络结构的分析，可以直观地了解一个卷积神经网络的构建方法，为分析、构建更复杂、更多层的卷积神经网络做准备。

二、tensorflow框架实现

LeNet-5.py

import tensorflow as tf
from tensorflow.contrib.layers import flatten  #注释1

#定义LeNet网络
def LeNet(input_tensor):
    #C1是卷积层。 conv Input=32*32*1,Output=28*28*6,卷积层的过滤器尺寸大小为5*5，深度为6，不使用全0补充，步长为1
    conv1_w=tf.Variable(tf.truncated_normal(shape=[5,5,1,6],mean=1,stddev=0.1))#注释2
    conv1_b=tf.Variable(tf.zeros(6))#注释3
    conv1=tf.nn.conv2d(input_tensor,conv1_w,strides=[1,1,1,1],padding='VALID')+conv1_b#注释4
    conv1=tf.nn.relu(conv1)
    
    #S2是池化层 Pooling  Input=28*28*6 Output=14*14*6,过滤器大小为2*2，步长为2。
    pool_1=tf.nn.max_pool(conv1,ksize=[1,2,2,1],strides=[1,2,2,1],padding='VALID')#注释5
    
    #C3卷积层 conv Input=14*14*6 Output=10*10*6,过滤器大小为5*5，深度为16，不使用全0补充，步长为1
    conv2_w=tf.Variable(tf.truncated_normal(shape=[5,5,6,16],mean=1,stddev=0.1))
    conv2_b=tf.Variable(tf.zeros(16))
    conv2=tf.nn.conv2d(pool_1,conv2_w,strides=[1,1,1,1],padding='VALID')+conv2_b
    conv2=tf.relu(conv2)
    
    #S4池化层 Pooling Input=10*10*6， OutPut=5*5*16，过滤器大小为2*2，步长为2
    pool_2=tf.nn.max_pool(conv2,ksize=[1,2,2,1],strides=[1,2,2,1],padding='VALID')
    
    # Flatten Input=5*5*16 Output=400
    fc1=flatten(pool_2)
    
    #C5层是一个卷积层，过滤器大小为55，和全连接层没有区别，这里可看做全连接层。 Input=5*5*16=400 Output=120
    fc1_w=tf.Variable(tf.truncated_normal(shape=(400,120),mean=1,stddev=0.1))
    fc1_b=tf.Variable(tf.zeros(120))
    fc1=tf.matmul(fc1,fc1_w)+fc1_b
    
    #F6 Input=120 OutPut=84
    fc2_w = tf.Variable(tf.truncated_normal(shape=(120, 84), mean=0, stddev=0.1))
    fc2_b = tf.Variable(tf.zeros(84))
    fc2 = tf.matmul(fc1, fc2_w)+fc2_b
    fc2 = tf.nn.relu(fc2)

    # F7 Input=84  Output=10
    fc3_w = tf.Variable(tf.truncated_normal(shape=(84, 10), mean=0, stddev=0.1))
    fc3_b = tf.Variable(tf.zeros(10))
    logits = tf.matmul(fc2, fc3_w) + fc3_b
    return logits

注释：

1、tensorflow.contrib.layers.flatten

(1)TensorFlow层（contrib）:https://www.w3cschool.cn/tensorflow_python/tensorflow_python-ugo128uh.html

建立神经网络层的高级操作,此包提供了一些操作，它们负责在内部创建以一致方式使用的变量，并为许多常见的机器学习算法提供构建块。包含用于构建神经网络层，正则化，摘要等的操作。

(2)tf API 研读1：tf.nn，tf.layers， tf.contrib概述

我们在使用tensorflow时，会发现tf.nn，tf.layers， tf.contrib模块有很多功能是重复的，尤其是卷积操作，在使用的时候，我们可以根据需要现在不同的模块。但有些时候可以一起混用。

        下面是对三个模块的简述：

  •  tf.nn ：提供神经网络相关操作的支持，包括卷积操作（conv）、池化操作（pooling）、归一化、loss、分类操作、embedding、RNN、Evaluation。

        TensorFlow层（nn）:https://www.w3cschool.cn/tensorflow_python/tensorflow_python-kd5h28vo.html

  •  tf.layers：主要提供的高层的神经网络，主要和卷积相关的，个人感觉是对tf.nn的进一步封装，tf.nn会更底层一些。
  •  tf.contrib：tf.contrib.layers提供够将计算图中的  网络层、正则化、摘要操作、是构建计算图的高级操作，但是tf.contrib包含不稳定和实验代码，有可能以后API会改变。

        TensorFlow层（contrib）:https://www.w3cschool.cn/tensorflow_python/tensorflow_python-ugo128uh.html

以上三个模块的封装程度是逐个递进的。 

 1) 如果只是想快速了解一下大概，不建议使用tf.nn.conv2d类似的函数，可以使用tf.layers和tf.contrib.layers高级函数

 2) 当有了一定的基础后，如果想在该领域进行深入学习，建议使用tf.nn.conv2d搭建神经网络，此时会帮助你深入理解网络中参数的具体功能与作用，而且对于loss函数需要进行正则化的时候很便于修改。

且能很清晰地知道修改的地方。而如果采用tf.layers和tf.contrib.layers高级函数，由于函数内部有正则项，此时，不利于深入理解。而且如果编写者想自定义loss，此时比较困难，如如果读者想共享参数时，此时计算loss函数中的正则项时，应该只计算一次，如果采用高级函数可能不清楚到底如何计算的。

（3）Tensorflow contrib.layers 模块介绍

在tf.contrib.layers内部，有许多产生layer操作及其相关权重和偏差变量的函数。这些大部分都是用来构建不同深度学习架构的。也有些函数是提供归一化，卷积层，dropout层（注：Dropout是在训练过程中以一定概率1-p将隐含层节点的输出值清0），‘one-hot’编码等。下面来粗略浏览一下：

  • tf.contrib.layers.optimizers模块：tf.contrib.layers.optimizers包括的优化器有Adagrad，SGD，Momentum等。它们用来解决数值分析的优化问题，比如，优化参数空间寻找最优模型；
  • tf.contrib.layers.regularizers模块：tf.contrib.layers.regularizers包括的正则化有L1规则化和L2规则化。规则化经常被用来抑制模型训练时特征数过大导致的过拟合（overfitting）问题；有时也作为Lasso回归和Ridge回归的构建模块；
  • tf.contrib.layers.initializers模块：tf.contrib.layers.initializers一般用来做模型初始化。包括深度学习在内的许多算法都要求计算梯度来优化模型。随机初始化模型参数有助于在参数空间中找到最优参数解。TensorFlow提供的有Xavier初始化器，用来在所有层中保持梯度大体相同；
  • tf.contrib.layers.feature_column模块：tf.contrib.layers.feature_column提供函数（比如，bucketing/binning，crossing/compostion，和embedding）来转换连续特征和离散特征；
     

（4）tf.contrib.layers.flatten()和tf.contrib.layers.fully_connection()

  • tf.contrib.layers.flatten(P)这个函数就是把P保留第一个维度，把第一个维度包含的每一子张量展开成一个行向量，返回张量是一个二维的， shape=（batch_size，….）,一般用于卷积神经网络全链接层前的预处理 
  • t f.contrib.layers.fully_connection(F，num_output,activation_fn)这个函数就是全链接成层,F是输入，num_output是下一层单元的个数，activation_fn是激活函数

2、tf.truncated_normal函数

（1）从截断的正态分布中输出随机值。

生成的值遵循具有指定平均值和标准偏差的正态分布,不同之处在于其平均值大于 2 个标准差的值将被丢弃并重新选择。

random_normal(
    shape,
    mean=0.0,
    stddev=1.0,
    dtype=tf.float32,
    seed=None,
    name=None
)

参数：

  • shape：一维整数张量或 Python 数组.输出张量的形状.
  • mean：dtype 类型的0-D张量或 Python 值.正态分布的均值.
  • stddev：dtype 类型的0-D张量或 Python 值.正态分布的标准差.
  • dtype：输出的类型.
  • seed：一个 Python 整数.用于为分发创建一个随机种子.查看 tf.set_random_seed 行为.
  • name：操作的名称(可选).

返回：

将返回一个指定形状的张量,通过随机的正常值填充。

（2）TensorFlow生成常量，序列和随机值

https://www.w3cschool.cn/tensorflow_python/tensorflow_python-efts28tw.html

随机张量

函数作用参数返回
tf.random_normal从正态分布中输出随机值. random_normal( shape, mean=0.0, stddev=1.0, dtype=tf.float32, seed=None, name=None )将返回一个指定形状的张量,通过随机的正常值填充.
tf.truncated_normal

从截断的正态分布中输出随机值. 

生成的值遵循具有指定平均值和标准偏差的正态分布,不同之处在于其平均值大于 2 个标准差的值将被丢弃并重新选择.

tf.truncated_normal( shape, mean=0.0, stddev=1.0, dtype=tf.float32, seed=None, name=None )将返回一个指定形状的张量,通过随机的正常值填充。

tf.random_uniform

从均匀分布中输出随机值。

生成的值在该 [minval, maxval) 范围内遵循均匀分布。对于浮点数,默认范围是 [0, 1)。对于整数,至少 maxval 必须明确地指定。

random_uniform( shape, minval=0, maxval=None, dtype=tf.float32, seed=None, name=None )用于填充随机均匀值的指定形状的张量。

tf.random_shuffle

随机地将张量沿其第一维度打乱.

张量沿着维度0被重新打乱,使得每个 value[j] 被映射到唯一一个 output[i]。

random_shuffle( value, seed=None, name=None )与 value 具有相同的形状和类型的张量,沿着它的第一个维度打乱。
tf.random_crop

随机地将张量裁剪为给定的大小. 

以一致选择的偏移量将一个形状 size 部分从 value 中切出.需要的条件：value.shape >= size.

random_crop( value, size, seed=None, name=None )与 value 具有相同的秩并且与 size 具有相同形状的裁剪张量.
tf.random_gamma

从每个给定的 Gamma distribution(s) 中绘制 shape 样本.

alpha 是描述 distribution(s) 的形状参数,并且 beta 是反比例参数(s).

random_gamma( shape, alpha, beta=None, dtype=tf.float32, seed=None, name=None )

samples：具有 dtype 类型值的带有形状 tf.concat(shape, tf.shape(alpha + beta)) 的 Tensor.

（3）TensorFlow随机张量：tf.set_random_seed函数

https://www.w3cschool.cn/tensorflow_python/tensorflow_python-fqc42jvo.html

3、tf.Variable函数

tf.Variable(initializer,name),参数initializer是初始化参数，name是可自定义的变量名称。

4、tf.nn.conv2d函数

tf.nn.conv2d(input, filter, strides, padding, use_cudnn_on_gpu=None, name=None)

函数作用：对输入数据进行二维卷积操作

参数说明：

  • input：输入，A 4-D tensor，shape为[batch_size, input_height, input_width, input_channels]，数据类型必须为float32或者float64
  • filter: 卷积核，A 4-D tensor，shape为[filter_height, filter_width, input_channels, output_channels], 和input有相同的数据类型
  • strides: 步长，一个长度为4的一维列表，每一位对应input中每一位对应的移动步长，在使用中，由于input的第一维和第四维不参与卷积运算，所以strides一般为[1, X, X, 1]
  • padding: 填充方式，一个字符串，取值‘SAME’或者‘VALID’. 当padding = ‘SAME’时，tensorflow会自动对原图像进行补零操作，从而使得输入和输出的图像大小一致；当padding = ‘VALID’时， 采用不填充的方式，会根据计算公式缩小原图像的大小，计算公式为（W-F+2P）/S+1, W是图像大小，F为卷积核大小，P是填充数量，S是步长。
  • use_cudnn_on_gpu=None : 可选布尔值，默认为True
     

4、tf.nn.max_pool函数

池化：池化层的主要目的是通过降采样的方式，在不影响图像质量的情况下，压缩图片，减少参数。子采样有两种形式，一种是均值子采样，即是对一个区域里的元素求平均值；另一种就是最大值采样，即是在一个区域中寻找最大值，如下图所示。

 

# 平均池化
tf.nn.avg_pool(value, ksize, strides, padding, name=None)
# 最大化池化
tf.nn.max_pool(value, ksize, strides, padding, name=None)


函数作用：对输入进行池化操作

参数说明：

  • value：池化输入，A 4-D tensor，shape为[batch_size, input_height, input_width, input_channels]，数据类型为float32，float64，qint8，quint8，qint32
  • ksize：池化窗口大小，A 4-D tensor，一般为[1, X, X, 1]
  • strides：步长，一般为[1, X, X, 1]，同上述卷积运算的strides
  • padding：填充，一个字符串取值‘SAME’或者‘VALID’，同上述卷积运算的padding
     

 

 

 

参考博客：

tf API 研读1：tf.nn，tf.layers， tf.contrib概述：https://blog.csdn.net/u014365862/article/details/77833481

Tensorflow contrib.layers 模块介绍：https://blog.csdn.net/hengxingheng/article/details/80431693

MachineLP博客目录：https://blog.csdn.net/u014365862/article/details/78422372

tensorflow学习（一）——有关tensorflow不同层的使用（tf.nn 和tf.layers以及tf.contrib.layers）的简单区别：https://blog.csdn.net/holmes_MX/article/details/82317742

tf.contrib.layers.flatten()和tf.contrib.layers.fully_connection()：https://blog.csdn.net/CZ505632696/article/details/79389694

tensorflow mnist实战笔记（一）了解官方mnist数据格式：https://blog.csdn.net/hjxu2016/article/details/73613671

详解 MNIST 数据集：https://blog.csdn.net/simple_the_best/article/details/75267863

Yuancccc
关注
专栏目录
深度学习之卷积神经网络CNN及tensorflow代码实现示例
cxmscb的博客
05-01 22万+
一、CNN的引入在人工的全连接神经网络中，每相邻两层之间的每个神经元之间都是有边相连的。当输入层的特征维度变得很高时，这时全连接网络需要训练的参数就会增大很多，计算速度就会变得很慢，例如一张黑白的 28×2828×28 的手写数字图片，输入层的神经元就有784个，如下图所示： 若在中间只使用一层隐藏层，参数 ww 就有 784×15=11760784×15 = 11760 多个；若输入的
tensorflow实现LeNet-5的卷积神经网络
03-10
里面包含mnist数据集，不用再去下载，程序直接能用。由于model文件夹里有训练好的模型，可以直接跑测试，由于只跑了6000轮训练，不到完整的3W轮，所以只达到了98.8%，你们可以自己训练完一整套，能达到99.*%的准确率。若不满意，那自己调超参数 （初试的指数衰减率 和 每次衰减比率），好了，下次上传迁移学习的代码，下回见，
深度学习（五）基于tensorflow实现简单卷积神经网络Lenet５
weixin_33806300的博客
04-26 139
原文作者：aircraft 原文地址：https://www.cnblogs.com/DOMLX/p/8954892.html 参考博客：https://blog.csdn.net/u012871279/article/details/78037984 https://blog.csdn.net/u014380165/article/details/77284921 目前人工智...
Matlab程序，实现卷积神经网络
最新发布
weixin_45570158的博客
08-24 724
使用layerGraph或layerArray定义CNN。layers = [imageInputLayer([32 32 3]) % 输入层，假设图像大小为32x32x3convolution2dLayer(3, 8, 'Padding', 1) % 卷积层reluLayermaxPooling2dLayer(2, 'Stride', 2) % 池化层reluLayerfullyConnectedLayer(10) % 全连接层，假设有10个类别。
Tensorflow实现经典网络LeNet的学习总结及有关代码细节讲解！
Choose_lzn的博客
03-17 678
一、前言 最近刚开始学习Tensorflow，在掌握Tensorflow基本用法的条件下去实现经典网络LeNet，在代码细节上有许多不理解的地方，于是通多查找有关博客和用代码做了小实验，在此总结一下，以便日后回顾，同时也有助于刚学习的童鞋理解。 二、tensorflow入门教程 对于tensorflow的入门教程我觉得官网的还不不错的，网址：http://www.te...
【TensorFlow实战】8.卷积神经网络（2）------LeNet-5模型
poulang5786的博客
08-03 1263
LeNet-5模型时Yann LeCun教授于1998年在论文Gradient-bashed learning applied to document recognition中提出的，它是第一个成功应用于数字识别问题的卷积神经网络。在MNIST数据集上，LeNet-5模型可以达到99.2%的正确率。LeNet-5模型总共有7层，下图是LeNet-5模型的架构。 下面介绍LeNet-5模型的每...
深度学习（四）卷积神经网络入门学习(1)
热门推荐
hjimce的专栏
08-06 7万+
卷积神经网络与我们之前所学到的图像的卷积的区别，我的理解是：我们之前学图像处理遇到卷积，一般来说，这个卷积核是已知的，比如各种边缘检测算子、高斯模糊等这些，都是已经知道卷积核，然后再与图像进行卷积运算。然而深度学习中的卷积神经网络卷积核是未知的，我们训练一个神经网络，就是要训练得出这些卷积核，而这些卷积核就相当于我们学单层感知器的时候的那些参数W，因此你可以把这些待学习的卷积核看成是神经网络的训练参数W。
卷积神经网络-基于LeNet5实现的遥感图像分类算法.zip
05-03
卷积神经网络（Convolutional Neural Networks，简称CNN）是一种深度学习模型，它在处理图像识别和分类任务中表现出色。CNNs的核心在于利用卷积层来捕获图像的局部特征，通过池化层减少计算量并保持重要的空间信息，...
004卷积神经网络LeNet-实现手写体识别例子
03-13
LeNet是由Yann LeCun在1998年提出的一种早期的卷积神经网络，它是CNN发展史上的里程碑。LeNet主要由以下几部分组成： 1. **输入层**：接收MNIST图像，通常是28x28像素。 2. **卷积层（Convolutional Layers）**：...
基于Tensorflow 2.3的 LeNet-5 MNIST手写数字集 识别.zip
03-27
LeNet-5是由Yann LeCun等人在1998年提出的，它是早期卷积神经网络（CNN）的代表之一。LeNet-5主要由以下几个部分构成： 1. **输入层**：接收28x28像素的灰度图像，即MNIST数据集中手写数字的大小。 2. **卷积层**：...
lenet-5模型的手写数字识别
04-17
LeNet-5是由Yann LeCun等人在1998年提出的一种卷积神经网络（Convolutional Neural Network, CNN），它在当时被广泛应用于OCR（Optical Character Recognition）系统，特别是对手写数字的识别。 LeNet-5模型的核心...
Lenet -5 神经网络详解
hellocsz的博客
06-21 7982
网络解析（一）：LeNet-5详解 5 2,211 °CA+所属分类：深度学习摘要LeNet-5出自论文Gradient-Based Learning Applied to Document Recognition，是一种用于手写体字符识别的非常高效的卷积神经网络。一、前言LeNet-5出自论文Gradient-Based Learning Applied to Document Recognit...
LeNet-5算法入门
牛肉胡辣汤
10-26 193
LeNet-5是一个经典的卷积神经网络（CNN）算法，由Yann LeCun等人于1998年提出。它是第一个成功应用于手写数字识别的卷积神经网络，将深度学习引入到了计算机视觉领域。LeNet-5算法由七个网络层组成，其中包含了卷积层、池化层和全连接层，以及非线性激活函数等。LeNet-5算法是一个经典的卷积神经网络算法，被广泛用于手写数字识别等计算机视觉任务。它的网络结构相对简单，但在MNIST数据集等任务上可以达到较高的准确率。这个算法的实现可以帮助初学者理解和入门卷积神经网络的基本概念和原理。
深度学习中batch normalization
weixin_30377461的博客
03-03 114
目录 1Batch Normalization笔记1.1引包1.2构建模型:1.3构建训练函数1.4结论 Batch Normalization笔记 我们将会用MNIST数据集来演示这个batch normalization的使用, 以及他所带来的效果: 引包 import tensorflow as tf import os from tensorflow.examples....
TensorFlow(0.12.0) LeNet-2 CNN实战问题分析
ligang_csdn的博客
12-28 9312
在网上看到一篇用TensorFlow实现CNN的文章：Playing with convolutions in TensorFlow, 于是赶紧下载了源代码学习一下，这里面使用了tf.contrib下的一些框架，还没学习过，不管三七二十一，先跑一下，结果悲剧，一堆warning最后还有一个Error，估计是我本机用的是最新的0.12版本的TensorFlow，和作者当时有变化导致的，没办法，还得继续
深度学习（五十六）tensorflow项目构建流程
hjimce的专栏
07-13 3万+
import tensorflow.nn.rnn_cell lstm = rnn_cell.BasicLSTMCell(lstm_size)#创建一个lstm cell单元类，隐藏层神经元个数为lstm_size state = tf.zeros([batch_size, lstm.state_size])#一个序列隐藏层的状态值 loss = 0.0 for current_batch_
卷积神经网络LeNet-5
null的专栏
06-15 1540
参考文献
LeNet_5(Tensorflow实现)
Mrzhang
11-18 2494
github博客传送门 csdn博客传送门 博客园传送门 本章所需知识: 没有基础的请观看深度学习系列视频 tensorflow 资料下载链接: 后面上传 恩达老师的可视化极强的网络结构图: 接着加上我自己使用Tensorflow实现的代码: LeNet_5网络 import tensorflow as tf import tensorflow.examples.tutorials.mnis...
卷积神经网络(CNN)讲解及代码
walegahaha的博客
06-07 3万+
相关文章： 1. 经典反向传播算法公式详细推导 2. 卷积神经网络(CNN)反向传播算法公式详细推导网上有很多关于CNN的教程讲解，在这里我们抛开长篇大论，只针对代码来谈。本文用的是matlab编写的deeplearning toolbox，包括NN、CNN、DBN、SAE、CAE。在这里我们感谢作者编写了这样一个简单易懂，适用于新手学习的代码。由于本文直接针对代码，这就要求读者有一定的CN
卷积神经网络CNN详解：从原理到LeNet5实现
卷积神经网络（Convolutional Neural Network，简称CNN）是一种人工神经网络，尤其适用于图像处理任务。其主要特点包括稀疏连接、权值共享以及层次化结构。 1. **稀疏连接**：与传统的全连接神经网络不同，CNN的每...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值