【深度学习】卷积相关

感受野的计算

特征图上某点的感受野：输入空间与该点有关的区域。层数越深，感受野的区域越大。

计算公式为：$x_i=x_{i-1}+(k_i-1){\prod }_{j=1}^{i-1}{s}_j$，其中 $x_i$ 为第 $i$ 层输出特征图的点对应的感受野大小，$k_i$ 为第 $i$ 层的卷积核大小或者是池化层的池化尺寸大小，$s_j$为步长，并且$x_0=1,s_0=1$。

公式理解：第$i$层特征图的一个点在第$i-1$层的特征图上的影响区域为$k_i\times k_i$，其中左上角的顶点的感受野为$x_{i-1}\times x_{i-1}$，那么接下来每行的$k_i-1$个点在输入空间下的步长为${\prod }_{j=1}^{i-1}{s}_j$,故有上述公式

卷积核输出尺寸的计算

给定第$i$层输入的尺寸:$n_i\times n_i$，卷积核大小:$k_i$，假设输出的尺寸为$m_i\times m_i$，则有 $k_i+(m_i-1)s_i\le 2\ast paddings+n$，从而$m_i=\lfloor \frac{2paddings+n-k_i}{s_i}+1\rfloor$，从这里可以看出，如果希望输入输出尺寸相同，则应该令$s_i=1,paddings=\frac{k_i-1}{2}$

每层的浮点计算复杂度

设第$i$层卷积核为$k_{in},k_i,k_i,k_{out}$，则计算复杂度为$prod(outputshape)\times k_{in}{k}_i{k}_i$

卷积

卷积的特点：局部连接、权值共享
局部连接：一个特征映射平面上的点只依赖于输入的局部区域
权值共享：一个特征映射平面上不同点都是通过相同的卷积核计算出来的

valid 卷积

不填充0，一般输出特征映射的的shape小于输入特征映射的shape

same卷积

特点：输入特征映射与输出特征映射的的空间尺度相同（即$H\times W$)
做法：卷积核尺寸为奇数，四周分别填充$\frac{k-1}{2}$个0，且$stride=1$
缺点：不同区域元素被访问的次数不同。中间元素被访问的次数为$k\times k$，而边界元素被访问的次数却明显低于$k\times k$

full卷积

针对same卷积不同区域元素被访问的次数不同的问题，提出了full卷积。
特点：不同区域元素被访问的次数相同；输出特征映射的大小：$(H+k-1)\times (W+k-1)$
做法：在same卷积的基础上增加填充0的个数。四周分别填充$k-1$个0，且$stride=1$

非共享卷积

特点：局部连接，但是权重不共享

平铺卷积

对普通卷积和非共享卷积进行了折衷。学习一组核在空间移动时可以循环利用，在相邻的位置具有不同的卷积核，在不同的位置核可能被循环利用。

可分离卷积

卷积的物理意义

卷积：等效于使用傅里叶变换将输入与核都转换到频域，执行两个信号的逐点相乘，再使用傅里叶逆变换转换回时域

可分离卷积

可分离的卷积核：当一个$d$维的卷积核可以表示成$d$个向量（每一维一个向量）的外积时，该核被称为是可分离的
设有$NHWC$维的输入以及$M$个$k\times k$的卷积核，则计算量为$NHWM{k}^{2}C$，如果改为$2$个一维卷积，则计算量为 $NHWMk1C+NHWM1kC=2NHWMkC$
一般化，如果$d$维的卷积核$k_1{k}_2...k_d$，则普通卷积的计算量为$C\prod _{i=1}^{i=d}{k}_i$，分离为$d$个一维卷积的计算量为$C\sum _{i=1}^{i=d}{d}_i$，显然计算量大幅下降

深度可分离卷积

普通卷积操作是同时考虑输入的通道维或输入维，深度可分离卷积先考虑区域，然后再考虑通道，将两者分离，使复杂度极大下降

如何加快模型优化？hard sample mining;
如何将模型压缩？深度可分离卷积