分割中的主要问题
DCNNs中语义分割存在三个挑战:
- 连续下采样和池化操作,导致最后特征图分辨率低,丢失位置信息
- 图像中存在多尺度的物体
- 空间不变性导致细节信息丢失
deeplab v1
问题的引入:
关于DCNN的大量工作表明,采用端到端的训练方式,使得模型对图像的变换有着较好的不变性,但这一点却妨碍了分割任务中的定位。经过研究发现,在深度CNN中对于语义分割主要存在两个挑战:一个是重复池化与下采样使得图像的分辨率大幅降低,信息发生了丢失,不利于恢复;另一个是对图像转换的不变性影响了定位
解决方案:
1、对于不断下采样造成的分辨率降低的问题,论文使用了一种的新的卷积方式,空洞卷积,如下图所示。
我们知道,池化层的存在不仅使得计算更为简单,而且扩大了卷积的感受野,使得卷积能够观察到较大的目标,然而,在进行池化的过程中,不可避免的丢失了一定的信息,不利于后期图片分辨率的恢复。论文中使用了空洞卷积代替了池化层,避免了信息的丢失,同时也扩大了感受野。
2、DCNN的得分图可以可靠的预测物体的存在与粗略的位置,但不能精确的定位目标的轮廓,其内在的不变性限制了对位置的推理,本文使用了全连接的CRF作为后处理操作&#x