深度学习笔记（26）卷积神经网络

最新推荐文章于 2024-01-06 17:17:22 发布

氢键H-H

最新推荐文章于 2024-01-06 17:17:22 发布

阅读量1.2w

点赞数 2

分类专栏：深度学习笔记文章标签：卷积神经网络

本文为氢键H-H原创文章，未经允许请勿用于商业用途，转载请注明出处

本文链接：https://blog.csdn.net/qq_32618327/article/details/91350707

版权

深度学习笔记专栏收录该内容

52 篇文章 82 订阅

订阅专栏

深度学习笔记（26）卷积神经网络

1. CONV
2. POOL
3. Layer
4. FC
5. 卷积的优势

1. CONV

假设，有一张大小为32×32×3的输入图片，这是一张RGB模式的图片
想做手写体数字识别
32×32×3的RGB图片中含有某个数字，想识别它是从0-9这10个数字中的哪一个

用的这个网络模型和经典网络LeNet-5非常相似，灵感也来源于此
LeNet-5是Yann LeCun创建的，采用的模型并不是LeNet-5
但是受它启发，许多参数选择都与LeNet-5相似

在这里插入图片描述
输入32×32×3
假设第一层使用过滤器大小为5×5，步幅s是1，padding是0，过滤器个数为6
则输出为28×28×6

用了6个过滤器，增加了偏差，应用了非线性函数，可能是ReLU非线性函数
最后输出CONV1的结果

2. POOL

在这里插入图片描述
然后构建一个池化层，这里选择用最大池化，参数 f = 2，s = 2， padding = 0
现在开始构建池化层，最大池化使用的过滤器为2×2，步幅为2，表示层的高度和宽度会减少一半
因此，28×28变成了14×14，通道数量保持不变
所以最终输出为14×14×6，将该输出标记为POOL1

3. Layer

在卷积神经网络文献中，卷积有两种分类，这与所谓层的划分存在一致性
一类卷积是一个卷积层和一个池化层一起作为一层，这就是神经网络的Layer1
另一类卷积是把卷积层作为一层，而池化层单独作为一层
在计算神经网络有多少层时，通常只统计具有权重和参数的层
而池化层没有权重和参数，只有一些超参数
在这里插入图片描述
这里，把CONV1和POOL1共同作为一个卷积，并标记为Layer1

再构建一个卷积层
过滤器大小为5×5，步幅为1，这次用16个过滤器
最后输出一个10×10×16矩阵CONV2

然后做最大池化，超参数 f=2，s=2，高度和宽度会减半
输出为5×5×16 POOL2
这就是第二个卷积层，即Layer2

4. FC

5×5×16矩阵包含400个元素
将POOL2平整化为一个大小为400的一维向量
利用这400个单元构建下一层

下一层含有120个单元，这就是第一个全连接层，标记为FC3

它很像在讲过的单神经网络层，这是一个标准的神经网络，这400个单元与120个单元紧密相连
它的权重矩阵为W^[3] ，维度为120×400

然后对这个120个单元再添加一个全连接层，这层更小
假设它含有84个单元，标记为FC4
在这里插入图片描述
最后，用这84个单元填充一个softmax单元
如果想通过手写数字识别来识别手写0-9这10个数字
这个softmax就会有10个输出

此例中的卷积神经网络很典型，看上去它有很多超参数
常规做法是，尽量不要自己设置超参数
而是查看文献中别人采用了哪些超参数，选一个在别人任务中效果很好的架构
那么它也有可能适用于自己的应用程序

5. 卷积的优势

卷积层的两个主要优势在于参数共享和稀疏连接
在这里插入图片描述
假设有一张32×32×3维度的图片
假设用了6个大小为5×5的过滤器，输出维度为28×28×6
32×32×3=3072，28×28×6=4704
构建一个神经网络
其中一层含有3072个单元，下一层含有4074个单元，两层中的每个神经元彼此相连
然后计算权重矩阵，它等于4074×3072≈1400万
所以要训练的参数很多