深度学习卷积参数量，图像输出尺寸，感受野的计算，
是针对我之前一篇博客的一些单独抽离和总结，方便复习
0. 网络中卷积乘法次数和加法次数
K × K {K}\times{K} K×K的卷积核，在一次卷积的过程中，运用 K 2 K^{2} K2次的乘法， K 2 − 1 K^{2}-1 K2−1次加法
1. 分组卷积
详细的带图解释引用参考这个链接
https://zhuanlan.zhihu.com/p/65377955
- 概念
将输入特征图按照通道数分成g组，每组分别进行卷积操作
- 计算量的计算
分 组 卷 积 参 数 量 标 准 卷 积 参 数 量 = h 1 × w 1 × c 1 g × c 2 g × g h 1 × w 1 × c 1 × c 2 = 1 g \frac{分组卷积参数量}{标准卷积参数量} = \frac{{h_{1}} \times {w_{1}} \times {\frac {c_{1}} {g}} \times{\frac{c_2}{g}}\times{g}} {{h_{1}} \times {w_{1}} \times {c_{1}} \times{c_2}} = \frac{1}{g} 标准卷积参数量分组卷积参数量=h1×w1×c1×c2h1×w1×gc1×gc2×g=g1
每个变量对应的意思如下：
| h1 | w1 | c1 | c2 | g |
|---|---|---|---|---|
| 卷积核长 | 卷积核宽 | 输入尺寸的channel数 | 输出尺寸的channel数 | 分组数 |
2. 深度可分离卷积
详细的带图解释引用参考这个链接
https://zhuanlan.zhihu.com/p/65377955
- 概念
将标准卷积分成了深度卷积和逐点卷积，大大减少了参数量
- 计算量的计算
深 度 可 分 离 卷 积 参 数 量 标 准 卷 积 参 数 量 = [ ( D k × D k × 1 ) × M ] + [ ( 1 × 1 × M ) × N ) ] D k × D k × M × N = 1 N + 1 D k 2 \frac{深度可分离卷积参数量}{标准卷积参数量} = \frac{[({D_{k}} \times {D_{k}} \times {1}) \times {M}] + [({1}\times{1}\times{M}) \times {N})]}{{D_{k}} \times {D_{k}} \times {M} \times {N}} = \frac{1}{N} + \frac{1}{D_{k}^{2}} 标准卷积参数量深度可分离卷积参数量=Dk×Dk×M×N[(Dk×Dk×1)×M]+[(1×1×M)×N)]=N1+Dk21
每个变量对应的意思如下：
| D k D_{k} Dk | M | N |
|---|---|---|
| 卷积核长或宽 | 输入尺寸的channel数 | 输出尺寸的channel数 |
3. 卷积后输出的图像尺寸
计算公式为：
n
=
f
−
k
+
2
p
s
+
1
n = \frac{f-k+2p}{s}+1
n=sf−k+2p+1
每个变量对应的意思如下：
| n | f | k | p | s |
|---|---|---|---|---|
| 输出的图像的某一边尺寸 | 输入图像的某一边的尺寸 | 卷积核大小 | padding | stride |
对于给定了padding方式的卷积，对应的输出为：
- same的情况：f/s向上取整
- valid的情况：用p=0来计算
4. 空洞卷积
引用自：https://zhuanlan.zhihu.com/p/50369448
- 概念
- 深度网络中为了增加感受野且降低计算量，总要进行降采样(pooling或s2/conv)
这样虽然可以增加感受野，但空间分辨率降低了。
为了能不丢失分辨率，且仍然扩大感受野，引入了空洞卷积（deeplab） - 空洞卷积有一个参数可以设置dilation rate，具体含义就是在卷积核中填充dilation rate-1个0，因此，当设置不同dilation rate时，感受野就会不一样，也即获取了多尺度信息
- 输出图像尺寸计算
空洞卷积的输出尺寸的计算，在于卷积核的大小不是原始卷积核的大小，
而应该使用公式：
K = k + ( k − 1 ) ( r − 1 ) K=k+(k-1)(r-1) K=k+(k−1)(r−1)
每个变量对应的意思如下：
| K | k | r |
|---|---|---|
| 空洞卷积的卷积核实际计算尺寸 | 卷积核的尺寸 | 空洞卷积的dilation rate |
最后再带入3中提到的公式即可，这里把公式再放一遍
n
=
f
−
k
+
2
p
s
+
1
n = \frac{f-k+2p}{s}+1
n=sf−k+2p+1
5. 感受野的计算
推荐一个网址，可以自定义卷积/池化层，然后计算感受野：fomoro传送门
计算感受野的方法有两种：
这两种方法实际都是递推的方法，第一种方法比较好理解，第二种方法是逆推，稍难理解
- 第一种方法：
参考链接：
https://blog.csdn.net/u012862372/article/details/81045593
https://zhuanlan.zhihu.com/p/28492837
补充一点自己的理解，初始化的时候，R0初始化为1，S0初始化为1（也就是当计算第一层的时候，实际的感受野就是卷积核的大小） - 第二种方法：
参考链接：https://zhuanlan.zhihu.com/p/28492837
这是一种逆推的方法，top->down，从最后一层逆推到输入层的计算方法，链接里面说的很明白
给出几个例子，均用第一种方法来说明感受野怎么计算：
感受野计算例1
注意是连乘，图中模糊的那一块儿是S2*S1，懒癌犯了，不想改了
感受野计算例2
运用方法一可以顺推每个中间层的感受野，比第二种直观一些
把公式latex一遍：
R
F
n
=
R
F
n
−
1
+
(
k
n
−
1
)
∏
i
=
1
n
−
1
S
i
RF_{n} = RF_{n-1}+(k_{n}-1)\prod_{i=1}^{n-1}{S_{i}}
RFn=RFn−1+(kn−1)i=1∏n−1Si
注：空洞卷积的感受野计算，参考https://zhuanlan.zhihu.com/p/43784441，通过计算实际的卷积核大小：
K
=
k
+
(
k
−
1
)
(
r
−
1
)
K = k + (k-1)(r-1)
K=k+(k−1)(r−1)
再带入上述公式即可计算
357
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
