BiSeNet V2

Abstract:

low-level details and high-level semantics 对语义分割任务是十分重要的。为了提升模型的推理速度，当前的方法会 sacrifice the low-level details,并导致准确率的减少。为了achieve high accuracy and high efficiency ，我们提出将spatial details and categorical semantics 分开处理。
Detail Branch：wide channels and shallow layers 捕获 low-level details and 生成high-resolution feature representation。
Semantic Branch：narrow channels and deep layers 获得 high-level semantic context。需要获得大的感受野捕获语义上下文信息，由于减少了通道数 and fast-downsampling 策略，该分支是轻量级的。
而且，还设计了Guided Aggregation Layer 来聚合特征。
结果： 2,048×1,024 input, we achieve 72.6% Mean IoU on the Cityscapes test set with a speed of 156 FPS on one NVIDIA GeForce GTX 1080 Ti card.

Introduction

一些方法的高准确率依赖于骨干网络，主要有 2 种结构：
1）Dilation Backbone：去除下采样和上采样与之相关的卷积核，来保持高分辨率的特征图。
2）编解码：自top-down和skip connections 来恢复解码部分中的高分辨率特征图。
然而，这些结构是为了语义分割任务设计的，没有考虑 inference speed and computational cost.
Dilation Backbone中的空洞卷积 time-consuming and 移除了下采样，会带来繁重的 computation complexity and memory footprint. 编码-解码器结构中的大量连接对内存访问成本不太友好.
加速模型的 2 种方法：
1）input限制。
2）channel修减。
但牺牲了low-level details and spatial capacity.

方法：

3.1 Detail Branch（多的通道，浅的网络 with 小感受野 for spatial details）
Detail Branch 是为了捕获low-level spatial details。因此需要的 rich 的通道编码空间信息。因为该分支只关注 low-level details，我们设计了 一个浅的结构带有 small stride。因为该分支有大的空间size和wide channels ，不适合采用残差连接，会增加cost 减少 speed。
3.2 Semantic Branch （少的通道，深的网络 with 大感受野 for 语义类别）
该分支被设计为捕获high-level semantics。该分支有low channel capacity。SB分支的通道数是DB分支通道数的λ比率（<1）。同时采用fast-downsampling 提高了特征表达，和快速扩大感受野。高等级的语义需要大的感受野。然后该分支采用GAP得到 global contextual response。
3.3 Aggregation Layer
两分支的特征是互补的。由于SB分支的快速下采样策略，使SB分支的输出尺寸小于DB分支。我们需要上采样到相同尺寸。有许多融合信息的方式summation，concatenation and well-designed operations。考虑到精度和效率，我们做了许多实验，最终采用 bidirectional aggregation method（双向聚合的方法）。

BiSeNet V2网络结构

SB分支中的Stem 、CE模块

Stem：它使用两种不同的向下采样方式来缩小特征表示。然后将两个分支的输出特性连接起来作为输出。该结构具有高效的计算代价和有效的特征表达能力。
CE：SB分支需要大的感受野来捕获高等级的语义信息。设计了CE模块，使用GAP和残差连接来增强全局上下文信息。

GE模块：（a）是mobilenet v2 （b,c）是GE模块，（b）s=1; © s =2.

Booster Training Strategy