目标检测的本质是逐像素点做回归,而图像分割的本质是逐像素点做分类。传统图像分割常用于小物体分割,但对于大目标的分割效果较差,且存在为扩大感受野过多采用池化操作导致部分重要信息丢失的问题。Deeplab要解决的核心问题便是以上问题。
空洞卷积
空洞卷积就是像下图中,卷积核中每个格子都隔开了,隔一个格子就叫倍率为1。能够使得特征图的感受野进一步扩大,并且几乎没有增加参数量和计算量。在分割任务中,考虑到图像数据的特性,位置相近的点特征差异一般并不大,因此采用空洞卷积不会导致丢失过多的重要信息。
ASPP
ASPP的意思是空洞空间金字塔池化,通俗地说就是将空洞卷积与SPP层的架构融合在了一起。SPP层的架构如下:
SPP层就是将同一特征图输入不同的池化层之中,最终可得到深度不变的大小不同的几个特征图,最终将这几个特征图都拉平、拼接,便可得到一个大小固定的矩阵,既解决了全连接层对输入图像大小的限制问题,使得输入图像可输入不同规格,也融合了不同大小的感受野。常用于卷积神经网络的最后,全连接网络之前。
ASPP就是SPP的架构,但结合了数个倍率不同的空洞卷积,具体流程如下:
Deeplab V3+网络架构
该网络架构总体为Encoder-Decoder架构,大体流程为输入图像在Encoder层中经过空洞卷积神经网络,再经过ASPP层;在Decoder层中将输入ASPP层前后的特征图进行拼接。各个环节之间与卷积、上采样、拼接等操作结合。具体流程图如下: