原文链接:https://zhuanlan.zhihu.com/p/23358015
Introduction
感受野:卷积神经网络每一层输出的特征图 (feature map) 上的像素点在原始图像上映射的区域大小。
![](https://i-blog.csdnimg.cn/blog_migrate/f5186c84ca1b9f987d7f5a036e77a1f2.png)
Size
多层叠加 的 小卷积核 相比于 大卷积核 的:
- 优势:
- 可取得与大卷积核同等规模的感受野;
- 加深了网络深度 —> 增强了网络容量和网络复杂度;
- 减少了模型参数的个数。
- 劣势:
- 整个网络的总计算量增加(虽然对单个卷积层而言计算量不变,但卷积层数增加了,因此计算总量也就上去了);
- 增加了“梯度弥散”的风险(因为层数增加了)。
Compute
感受野的计算 主要与 卷积层 和 池化层 的 窗口大小 (size)、移动步长 (stride) 以及 填充 (padding) 有关。
例如,假设在 stride=1,padding=0
的相同前提下,且每层卷积的输出channel都为1:
卷积核方案 |
三个 3×3×1 的小卷积核叠加 |
一个 7×7×1 的大卷积核 |
---|---|---|
感受野大小 |
7×7×1 |
7×7×1 |
层数 |
3 |
1 |
参数量 |
3×(3×3×1)=27 |
1×(7×7×1)=49 |
浮点数计算次数 |
[(3×3×1)×(5×5×1)+(3×3×1)×(3×3×1)+(3×3×1)×(1×1×1)]×2=630 |
[(7×7×1)×(1×1×1)]×2=98 |
Summary
- 在相同感受野的情况下,“叠加小卷积核”的方案节省了参数开销,却增大了浮点数计算次数。
- 另外,由于增加了网络层数,也会随之带来网络加深的一系列利弊 (模型容量↑ / 模型复杂度↑ / 梯度风险↑ / 收敛难度↑)。
本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。