深度学习笔记（24）卷积层

最新推荐文章于 2022-12-26 20:45:25 发布

氢键H-H

最新推荐文章于 2022-12-26 20:45:25 发布

阅读量1.3w

点赞数 5

分类专栏：深度学习笔记文章标签：卷积层

本文为氢键H-H原创文章，未经允许请勿用于商业用途，转载请注明出处

本文链接：https://blog.csdn.net/qq_32618327/article/details/91346309

版权

深度学习笔记专栏收录该内容

52 篇文章 82 订阅

订阅专栏

深度学习笔记（24）卷积层

1. 卷积层向前传播
2. 卷积层符号
3. 简单的卷积网络

1. 卷积层向前传播

一个典型的卷积神经网络的卷积层，而通常有三层：

卷积层 Conv
池化层 POOL
全连接层 FC

首先介绍的是卷积层Conv，从Conv的向前传播开始

在这里插入图片描述
前向传播中一个操作就是 z^[1] = W^[1]a^[0]+b^[1]，其中 a^[0]=x
执行非线性函数得到 a^[1] ，即 a^[1] =g(z^[1])
这里的输入是a^[0] ，也就是x，这些过滤器用变量 W^[1] 表示

在卷积过程中，对这27个数（3 * 3 * 3）进行操作
其实是27×2，因为用了两个过滤器，取这些数做乘法

实际执行了一个线性函数，输出结果是一个4×4的矩阵
它的作用类似于W^[1] a^[0]，也就是两个4×4矩阵加上偏差

a^[0] 到a^[1] 的演变过程：
首先执行线性函数，然后所有元素相乘做卷积
运用线性函数再加上偏差，应用激活函数ReLU
这样就通过神经网络的一层把一个6×6×3的维度a^[0] 演化为一个4×4×2维度的a^[1]
这就是卷积神经网络的一层

示例中有两个过滤器，也就是有两个特征
因此最终得到一个4×4×2的输出
但如果用了10个过滤器
最后会得到一个4×4×10维度的输出图像
因为选取了其中10个特征映射，也就是a^[1]

现在有10个过滤器，每一层都是一个3×3×3的矩阵
因此每个过滤器有27个参数，然后加上一个偏差，用参数b表示
现在参数增加到28个，现在有10个，加在一起是28×10，也就是280个参数

不论输入图片有多大，1000×1000也好，5000×5000也好
参数保持不变，始终都是280个
即使这些图片很大，参数却很少
这就是卷积神经网络的一个特征，称为 “避免过拟合”

2. 卷积层符号

在这里插入图片描述
这一层是卷积层

在这里插入图片描述

3. 简单的卷积网络

假设有一张图片，想做图片分类或图片识别，把这张图片输入定义为x
然后辨别图片中有没有猫，用0或1表示，这是一个分类问题

在这里插入图片描述
用了一张比较小的图片，大小是 39×39×3，即 n_H^[0] = n_W^[0] = 39
而 n_c^[0] = 3，即 0层的通道数为3

假设第一层用一个3×3的过滤器来提取特征
那么 $f$ ^[1]=3，因为过滤器时3×3的矩阵， $s$ ^[1]=1， $p$ ^[1]=0
所以高度和宽度使用 valid 卷积

如果有 n_c^[1]=10，10个过滤器
则 (n+2p-f)/s+1=(39+0-3)/1+1=37
神经网络下一层的激活值为 37×37×10，即 n_H^[1] = n_W^[1] = 37
而n_c^[1] = 10

假设设还有另外一个卷积层，这次采用的过滤器是5×5的矩阵
神经网络下一层的 $f$ = 5，即 $f$ ^[2] = 5
步幅为2，即 $s$ ^[2] = 2
padding为0，即 $p$ ^[2] = 0
且有20个过滤器
所以其输出结果会是一张新图像，这次的输出结果为 17×17×20
即激活值 a^[2] 的维度
因此 n_H^[2] = n_W^[2] = 17，n_c^[2] = 20

构建最后一个卷积层，假设过滤器还是5×5，步幅为2
即 $f$ ^[2] = 5， $s$ ^[3] = 2
使用了40个过滤器，padding为0，最后结果为 7×7×40
到此，这张39×39×3的输入图像就处理完毕了
为图片提取了7×7×40个特征，即1960个特征
这样简单的卷积神经网络的卷积层就完成了