LeNet5的论文及理解

LeNet5网络的来源:Lécun Y, Bottou L, Bengio Y, et al. Gradient-based learning applied to document recognition[J]. Proceedings of the IEEE, 1998, 86(11):2278-2324.1. 卷积神经网络(Convolutional Neural Network,CNN)...
摘要由CSDN通过智能技术生成

LeNet5网络的来源:Lécun Y, Bottou L, Bengio Y, et al. Gradient-based learning applied to document recognition[J]. Proceedings of the IEEE, 1998, 86(11):2278-2324.

1. 卷积神经网络(Convolutional Neural Network,CNN)基本介绍

1.1 CNN的组成部分

卷积神经网络CNN(Convolutional Neural Network),是一类深度神经网络,最常用于分析视觉图像。一个卷积神经网络通常包括输入输出层和多个隐藏层,隐藏层通常包括卷积层和RELU层(即激活函数)、池化层、全连接层和归一化层等。
1.输入层
CNN的输入一般是二维向量,可以有高度,比如,RGB图像。
2.卷积层
卷积层是CNN的核心,层的参数由一组可学习的滤波器(filter)或内核(kernels)组成,它们具有小的感受野,延伸到输入容积的整个深度。卷积层的作用是对输入层进行卷积,提取更高层次的特征。
3.池化层
池化层(又称为下采样),它的作用是减小数据处理量同时保留有用信息,池化层的作用可以描述为模糊图像,丢掉了一些不是那么重要的特征。池化层一般包括均值池化、最大池化、高斯池化、可训练池化等。
下采样
4.激活层
激活层主要是把卷积层输出结果做非线性映射,常用的激励函数有ReLU、sigmoid、tanh、LeakyReLU等。CNN采用的激励函数一般为ReLU(The Rectified Linear Unit,修正线性单元),它的特点是收敛快,求梯度简单,但较脆弱。
ReLU
5.全连接层
全连接层是一个常规的神经网络,它的作用是对经过多次卷积层和多次池化层所得出来的高级特征进行全连接(全连接就是常规神经网络的性质),算出最后的预测值。
6.输出层
输出层输出对结果的预测值,一般会加一个softmax层。

1.2 CNN的特点

CNN主要有三大特色,分别是局部感知、权重共享和多卷积核
1. 局部感知
局部感知就是我们上面说的感受野,实际上就是卷积核和图像卷积的时候,每次卷积核所覆盖的像素只是一小部分,是局部特征,所以说是局部感知。CNN是一个从局部到整体的过程(局部到整体的实现是在全连通层),而传统的神经网络是整体的过程。
在这里插入图片描述
2. 权重共享
权值共享:不同的图像或者同一张图像共用一个卷积核,减少重复的卷积核。同一张图像当中可能会出现相同的特征,共享卷积核能够进一步减少权值参数。
3. 多卷积核
一种卷积核代表的是一种特征,为获得更多不同的特征集合,卷积层会有多个卷积核,生成不同的特征,这也是为什么卷积后的图片的高,每一个图片代表不同的特征。

2. LeNet5

LeNet5源自Yann LeCun的论文“Gradient-Based Learning Applied to Document Recognition”,是一种用于手写体字符识别的非常高效的卷积神经网络。

2.1 LeNet5结构

LeNet5
LeNet5网络虽然很小,但是包含了深度学习的基本模块:卷积层、池化层、全连接层。LeNet5共有七层,不包含输入,每层都包含可训练参数,每个层有多个Feature Map,每个Feature Map通过一种卷积滤波器提取输入的一种特征,然后每Feature Map有多个神经元
输入: 32 ∗ 32 32*32 3232的手写字体图片,这些手写字体包含0-9数字,也就是相当于10个类别的图片。
输出: 分类结果,0-9之间的一个数(softmax)

2.2 各层结构及参数

1. INPUT(输入层)
32 ∗ 32 32*32 3232的图片,共有1024个神经元。

2. C1(卷积层)
选取6个 5 ∗ 5 5*5 55卷积核(不包含偏置),得到6个特征图,每个特征图的大小为 32 − 5 + 1 = 28 32-5+1=28 325+1=28,也就是神经元的个数由1024减小到了 28 ∗ 28 = 784 28*28=784 28

  • 13
    点赞
  • 100
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
### 回答1: LeNet-5是一种经典的卷积神经网络结构,最早由Yann LeCun等人在1998年提出。它被广泛应用于数字手写体识别任务,是深度学习发展历程中的重要里程碑。 LeNet-5网络结构由7层组成,包括两个卷积层、两个池化层和三个全连接层。每个卷积层和池化层之间都有类似的结构:卷积层使用卷积核进行特征提取,然后经过非线性激活函数。接着,池化层通过将局部区域进行下采样,减少了特征的维度和计算复杂度。 LeNet-5的输入是28x28的手写数字图像,首先经过第一个卷积层,通过6个卷积核提取特征,得到6个28x28的特征图。接着,经过第一个池化层,将特征图大小减小为14x14,降低了空间维度。然后,再经过第二个卷积层和第二个池化层,得到6个5x5的特征图,大小进一步减小为5x5。 最后,将特征图展开为一维向量,经过三个全连接层进行分类。这三个全连接层包含了120个、84个和10个神经元,最后的10个神经元代表了0到9数字的类别。 在训练过程中,LeNet-5使用反向传播算法更新网络参数,通过最小化误差来优化模型。同时,LeNet-5还采用了dropout技术,防止过拟合。在测试阶段,输入新的手写数字图像,LeNet-5可以快速识别出其对应的类别。 总结来说,LeNet-5是一种经典的卷积神经网络模型,利用卷积层、池化层和全连接层等结构,可以有效地进行手写数字识别任务。它的提出对深度学习的发展有重大影响,并激发了更多研究者对卷积神经网络的关注与研究。 ### 回答2: LeNet-5 是一种经典的卷积神经网络模型,最初用于手写数字识别。它由 Yann LeCun 在 1998 年提出,并被广泛应用于计算机视觉领域。 LeNet-5 模型由两个卷积层,两个池化层和三个全连接层组成。卷积层和池化层分别用于提取图像的特征,全连接层则用于将提取的特征进行分类。 在 Matlab 中实现 LeNet-5 模型,可以使用深度学习工具箱中的卷积神经网络工具函数。首先,我们需要定义一个网络对象,并设置网络的结构。然后,可以使用训练数据对网络进行训练,使用测试数据对网络进行验证。训练过程可以使用反向传播算法,并结合交叉熵损失函数进行优化。 可以使用 Matlab 中的 `convolution2dLayer` 函数创建卷积层,使用 `maxPooling2dLayer` 函数创建池化层,以及使用 `fullyConnectedLayer` 函数创建全连接层。这些函数可以设置不同的参数,如滤波器的大小、步长、激活函数等。最后,使用 `trainNetwork` 函数对网络进行训练,并使用 `classify` 函数对测试数据进行分类。 值得注意的是,为了能够顺利地运行网络模型,我们还需要提前准备好训练数据和测试数据。可以使用 Matlab 提供的 `imread` 函数读取图像数据,使用 `imresize` 函数对图像进行大小调整,以适应网络模型的输入要求。 总之,使用 Matlab 实现 LeNet-5 模型,需要定义网络结构,准备训练数据和测试数据,进行网络训练和验证。通过合理设置网络的参数和调整训练过程中的超参数,可以得到一个优秀的手写数字识别模型。 ### 回答3: LeNet-5是一个经典的卷积神经网络架构,最早由Yann LeCun等人于1998年提出,被广泛用于手写数字识别任务。Matlab是一个强大的数学计算软件,可以用于开发和实现神经网络模型。 LeNet-5的架构主要由卷积层、池化层和全连接层组成。对于手写数字识别的任务,输入是28*28像素大小的灰度图像,共有0-9十个类别。LeNet-5首先通过两个卷积层提取图像的特征,每个卷积层包含多个卷积核,通过卷积操作得到特征映射。然后,通过两个池化层对特征映射进行下采样,减小特征图的尺寸。接着,将池化层的输出连接到全连接层,最后通过softmax激活函数得到各个类别的概率预测。 在Matlab中实现LeNet-5可以使用深度学习工具箱,其中包括了各种神经网络算法。首先,我们需要构建一个卷积神经网络对象,并指定网络的层次结构。然后,通过数据集进行训练和测试,可以使用一些优化算法如梯度下降来调整网络参数。在训练过程中,我们可以监控训练误差和测试误差的变化,以评估模型的性能。最后,可以使用训练好的模型对新的图像进行分类预测。 总之,Matlab提供了丰富的工具和函数用于实现LeNet-5以及其他神经网络模型。通过使用Matlab,我们可以轻松地搭建、训练和评估LeNet-5模型,实现手写数字识别等各种任务。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值