f-BRS: Rethinking Backpropagating Refinement for Interactive Segmentation解析

f-BRS: Rethinking Backpropagating Refinement for Interactive Segmentation[2] 是 CVPR 2020 的文章，文章提出了一种新颖的反向传播优化方案（f-BRS），该方案可在网络的中间特征上运行，并且只需要对网络的一小部分进行正向和反向传递。实验结果在准确性和速度方面设定了最高的结果。

f-BRS 的优化过程可以通过以下 demo 进行演示。

可以看到，f-BRS 可以在得到交互式前景和背景的点击下，在进行传播的过程中，不仅可以从输入进行反向传递也可以从相应的特征提取的模块节点下进行反向传播优化网络，这将在推理上可以实现大幅度的速度提升，值得说的是后端优化的节点并没有带来多大分割精度上的损失。

我们看一下模型的实现细节，整个模型结构如图 2 所示。

▲图2.f-BRS模型结构

模型的输入为原图 image 和已经处理好的前景背景的点。如何处理好这些前景和背景的点呢，这就需要通过一个 Distance Maps 去实现，也就是图上画出来的。

说的通俗一点，这个 Distance 就是怎样确定前景点和对应的 mask 上的区域，源码下采用 num_max 作为前景点的最多个数，默认是 10 个。也就是最多在一个区域标记 10 个前景点和 10 个背景点，通过将这些点进行距离映射处理后得到与图像尺寸相当的 channel 为 2 的距离图。

得到 Distance Maps 后，我们的输入就是对应的 Image 的，有人可能又要质疑了，你是怎么确定前景点和背景点的呢？处理前景点和背景点的任务其实是要人通过交互的输入进行的。怎么去程序化呢？也就是让电脑模拟人的输入进行交互呢？

这其实很简单的，就是通过已有的真实图像的 Mask 去确定，Mask 在目标物体位置区域内是 1，否则全为 0。随机选择 1 的位置作为前景点，0 的位置作为背景点，允许重复的情况下选择 10 个前景点和 10 个背景点（坐标(-1,-1) 的情况下表示放弃标点）。

文章在对数据进行增强的时候，利用了 Python 下的 albumentations 包，这是个专门实现数据增强的模块，其中包括 Compose, ShiftScaleRotate, PadIfNeeded, RandomCrop, RGBShift, RandomBrightnessContrast, RandomRotate90, Flip。

对于后续的网络架构，我们以 ResNet34 为例，对网络进行了详细展开，得到的结果如图 3 所示，对模型中的 BatchSize 进行省略，输入的图像尺寸为 。

▲图3.f-BRS基于ResNet34实现细节

中间的特征节点 f-BRS-A、 f-BRS-B 和 f-BRS-C 在图 3 中进行了标注，在进行部分反向传播的时候，也是以这几个节点为基础进行操作。模型采用了较为成熟的 Skip project 和 ASPP 方法，这里还要再强调一下文章提出的 zoom in方式，使用的 zoom in 分为 5 个阶段。

1. 阶段一是确定目标下的边界框

阶段一是确定目标下的边界框

1. 适度小的扩展找到的边界框

适度小的扩展找到的边界框

1. 通过得到的边界框对图像进行剪裁

通过得到的边界框对图像进行剪裁

1. 上采样得到的中心区域

上采样得到的中心区域

1. 再次预测边界

再次预测边界

Zoom in 方式的采用可以在不添加任何互动点击的情况下得到更好的结果。同时 zoom in 的使用将之前已有的交互式分割方法也可以得到较好的提升，这种方式还是很值得借鉴的。

f-BRS 在 GrabCut、Berkeley、SBD 和 DAVIS 数据集上均取得了优异的结果。

▲图4.f-BRS各数据集下实验结果