卷积神经网络基础

1.二维互相关运算：由二维的输入数组和二维的核数组得到一个二维的输出数组。
这个二维的核数组通常称为卷积核或过滤器（filter），它的高度和宽度一般比输入数组小。
二维卷积层是将输入与卷积核做互相关运算，再加一个标量偏置。因此卷积层的模型参数就包括卷积核和标量偏置。
2.特征图（feature map）：简单来说就是指输出数组，因为它可以看作是输入在空间维度（高和宽）上的某一级表征。
感受野（receptive field）：输出数组上的某一个数y可以被输入数组上的哪些数字x所影响，这些x就是y的感受野。不仅可以求一个卷积核运算结束后结果中一个数字在输入上的感受野，也可以求与多个卷积核运算结束后的结果中一个数字在输入上的感受野，而且也不一定是求输入上的感受野，可以求结果中的一个数字未做上一次互相关运算的二维数组上的感受野。（标准定义：影响元素x的前向计算的所有可能输入区域（可能大于输入的实际尺寸）叫做x的感受野）
3.填充（padding）：在输入数组高和宽的两侧填充元素（通常是0元素）。填充后的二维数组与卷积核做互相关运算并加偏置。填充是卷积层的超参数。
步幅（stride）：在互相关运算中，卷积核在输入数组上滑动，每次滑动的行数和列数就是步幅。步幅是卷积层的超参数。
4.计算
设
原输入的高和宽是$n_h$和$n_w$
卷积核的高和宽是$k_h$和$k_w$
在高的两侧分别填充$p_h$行，在宽的两侧分别填充$p_w$列
高上步幅为$s_h$，宽上步幅为$s_w$
则输出的高和宽是$\lfloor (n_h+2p_h-k_h+s_h)/s_h\rfloor$和$\lfloor (n_w+2p_w-k_w+s_w)/s_w\rfloor$
5.多输入通道：灰度图的一个像素点的颜色只用一个数字就可以表示，只有一个通道。彩色图的颜色需要用RGB（红绿蓝）三种颜色表示，有3个颜色通道。
设彩色图像的高和宽分别是$h$和$w$，那么它可以表示成$3\times h\times w$，3是通道维。
要为每个输入通道分配一个二维核数组，这些核数组在通道维上联结得到卷积核，将各个通道得到的输出结果加起来才是输出结果。
计算：
设
输入为$c_i\times n_h\times n_w$
核数组$k_h\times k_w$
那么卷积核的形状：$c_i\times k_h\times k_w$
5.多输出通道：设输出通道数为$c_o$，为每个输出通道创建形状为$c_i\times k_h\times k_w$的核数组，它们在输出通道维上联结，得到卷积核，其形状为$c_o\times c_i\times k_h\times k_w$。
理解：一个$c_i\times k_h\times k_w$的核数组可以得到一个输出数组，它可以表示图片的某种局部特征，但是输入可能有相当丰富的特征，我们需要有多个这样的$c_i\times k_h\times k_w$核数组，不同的核数组提取不同的特征。因此，此时的卷积核的形状是$c_o\times c_i\times k_h\times k_w$，得到了$c_o$个输出数组。
6.总结：
设
输入为$c_i\times n_h\times n_w$
输出通道数为$c_o$，
卷积核的高和宽为$k_h$和$k_w$
在高的两侧分别填充$p_h$行，在宽的两侧分别填充$p_w$列
高上步幅为$s_h$，宽上步幅为$s_w$
则卷积核的形状$c_o\times c_i\times k_h\times k_w$
输出为$c_o\times \lfloor (n_h+2p_h-k_h+s_h)/s_h\rfloor \times \lfloor (n_w+2p_w-k_w+s_w)/s_w\rfloor$
7.池化
二维池化层有最大池化和平均池化。
在处理多通道输入数据时，池化层对每个输入通道的输入数组分别池化，但不会相加，因此，池化层的输出通道数和输入通道数相等。