RefineNet学习笔记

Abstract

目前深度卷积网络在目标识别和图像分割等问题上表现突出，但频繁的下采样丢失了原图像的信息。我们提出一种RefineNet网络，使用残差链接显式将各个下采样层和后面的网络层结合在一起。这样网络高层的语义特征可以直接从底层的卷积层中获得refine。一个RefineNet单元使用残差链接和identity映射，对于端对端的训练很有效。我们也介绍了一种链接残差池化，它可以捕获大量背景信息。

---

1. Introduction

语义分割的在这儿任务是给每个像素点分配一个标签，这也被认为是密集分类问题（dense classification problem）。相关的问题如被称为目标解译可以被转换为语义分割。最近的CNN网络，如VGG，ResNet等在识别中变现很好，但这些方法存在明显的限制当解决密集预测任务如语义分割时，下采样操作使得最终的图像信息损失很大。

一种方式是利用反卷积上采样信息，但这种方式无法恢复底层损失的信息。因此它不能生成准确的高层预测结果。底层信息是准确预测边界和细节的基础。DeepLab提出dilated卷积来在不下采样的基础上扩大感受野。但这种策略有两个限制。第一，需要计算大量的卷积特征图在高纬上而引起（computational expensive）+（huge GPU memory resources）。这限制了计算高层特征和输出尺度只能为输入的1/8。第二，dilate卷积引起粗糙下采样特征，这潜在导致重要细节的损失。

另外的方法融合中层特征和高层特征。这种方法基于中层特征保持了空间信息。这种方法尽管补充了特征如边界、角落等，但缺乏强大的空间信息。

所有层的信息对于语义分割都是有帮助的。高层的信息识别图像区域的类别，底层特征参数轮廓、细节边界信息。