卷积_池化

Convolution，作用是提取特征和降维。之前学的卷积核（滤波器/特征探测器）已知，如边缘检测算子。卷积神经网络卷积核未知，训练神经网络就是要训练出这些卷积核。图像表示为像素的向量，这样大多数时候非常多，基本没法训练，所以必先减少参数加快速度。卷积核用于提取特征，个数越多提取特征越多，要训练的参数的个数越多。少了的话提取的特征不足。具体多少个合适，还有待学习。

边界处理：SAME和VALID

VALID：对边界不进行处理，输出图片总是比输入图片小。

SAME：填充核减1的一半的零，与原图大小相同。

特征图大小计算：

Atrous Convolution

空洞卷积/扩张卷积，向卷积层引入了一个称为 “扩张率(dilation rate)”的新参数，该参数定义了卷积核处理数据时各值的间距，就是带洞的卷积，卷积核是稀疏的。

如下图所示，上面的是普通卷积，下面的是空洞卷积

在相同的计算条件下，空洞卷积提供了更大的感受野。所以当网络层需要较大的感受野，但计算资源有限而无法提高卷积核数量或大小时，可以考虑空洞卷积。其次带洞卷积减少了核的大小，可以达到节省内存的作用，因此经常被用在实时图像分割中。另外，通常卷积过程中为了使特征图尺寸特征图尺寸保持不变，通过会在边缘打padding，但人为加入的padding值会引入噪声，因此，使用空洞卷积能够在保持感受野不变的条件下，减少padding噪声。

1*1卷积的作用

1、降维（ dimension reductionality ）。比如，一张500 * 500且厚度depth为100 的图片在20个filter上做1*1的卷积，那么结果的大小为500*500*20。

2、加入非线性。卷积层之后经过激励层，1*1的卷积在前一层的学习表示上添加了非线性激励（ non-linear activation ），提升网络的表达能力；

下图是Inception模块，为了消除尺寸对于识别结果的影响，一次性使用多个不同filter size来抓取多个范围不同的概念，让网络能够自己选择需要的特征。可以看到在Inception模块中，每个分支都加上一个1*1卷积的部分，这里1*1卷积的作用是让网络根据需要能够更灵活地控制数据的depth（即通道数），通过1*1卷积，可以将不同分支的feature map通道数调整到一直，便于后续操作（相加或concat）。这里的1*1卷积不止能降维，也可以升维，这完全取决与1*1卷积的通道数。

3、跨通道信息交互（channal 的变换）

如：使用1*1卷积核，实现降维和升维的操作其实就是channel间信息的线性组合变化，3*3，64channels的卷积核前面添加一个1*1，28channels的卷积核，就变成了3*3，28channels的卷积核，原来的64个channels就可以理解为跨通道线性组合变成了28channels，这就是通道间的信息交互。

pooling

池化，最常见的池化有平均池化 average pooling和最大池化 max pooling，作用是保留主要的特征同时减少参数(降维，效果类似PCA)和计算量，防止过拟合，提高泛化能力。