BiSenetv2结构详细介绍

1. 整体结构

(1)一个细节分支(Detail Branch)，具有宽通道和浅层，以捕获low-level细节并生成高分辨率特征表示；
(2)语义分支(Semantic Branch)，具有狭窄的通道和较深的层，以获取高级语义上下文。由于减少了信道容量和快速下采样策略，语义分支是轻量级的。
(3)设计了一个引导聚合层(Bilateral Guided Aggregation Layer)，以增强相互连接并融合两种类型的要素表示。
(4)还设计了一种增强训练策略来提高分割性能，而无需任何额外的推理成本。

2. 详细结构

2.1 细节分支

细节分支负责空间细节。该分支需要丰富的信道容量来编码丰富的空间细节信息。同时，因为细节分支只关注底层细节，所以可以为这个分支设计一个小跨度的浅层结构。总体而言，细节分支的关键概念是使用wide宽通道和shallow浅层来处理空间细节。此外，该分支的特征表示具有较大的空间尺寸和较宽的信道。因此，最好不要采用residual连接，这样会增加内存访问成本，降低速度。

表1中细节分支的实例化包含三个阶段，每一层都是卷积层，然后是批处理归一化和激活函数。每个阶段的第一层的步长为2，而同一阶段的其他层具有相同数量的过滤器和输出特征映射大小。因此，这个分支提取的输出特征映射是原始输入的1/8。每个阶段S包含一个或多个操作opr(例如，Conv2d、Stem、GE、CE)。每个操作有一个大小为k的内核，步长s和输出通道c，重复r次。扩展因子e用于扩展操作的通道数。这里的通道比λ= 1/4。在和细节分支的对应的stage，绿色字体标志着语义分支的通道更少。注:conv2d表示卷积层，后面是一个批处理的归一化层和relu激活函数。Stem表示Stem块。GE代表采集-扩展层。CE是上下文嵌入块。

2.2 语义分支

语义分支旨在捕获高级语义。语义分支和细节分支的比率为λ(λ< 1),这使得这个分支量级比较轻。语义分支可以是任意一种轻量级的卷积模式，同时采用快速下采样策略，提高特征表示的层次，快速扩大感受野。高级语义需要较大的感受野，因此，语义分支使用全局平均池来嵌入全局上下文响应。

• Stem Block
  采用Stem块作为语义分支的第一阶段，如下图所示。它使用两种不同的向下采样方式来缩小特征表示，然后将两个分支的输出特性串联起来作为输出。该结构具有高效的计算成本和有效的特征表达能力。
  
• Context Embedding Block
  语义分支需要大的感受野来捕获高级语义。因此设计了上下文嵌入块。该块使用全局平均池和剩余连接有效地嵌入全局互文信息，如下图所示。
  
• Gather-and-Expansion Layer
  为了利用深度卷积的优点，提出了集合-扩展层，如图5所示。采集-扩展层包括:(i) 一个3×3的卷积，有效地对特征响应进行聚合并扩展到高维空间;(ii) 在膨胀层的每个单独的输出通道上独立进行3×3深度卷积;(iii) 以1×1的卷积作为投影层，将深度卷积的输出投影到一个低信道容量空间。当stride=2时，采用2个3×3的深度卷积，进一步扩大了感受野，1个3×3的可分离卷积作为shortcut。在这一层，作者用两个3×3深度卷积代替可分离变量卷积中的5×5深度卷积，这两个3×3深度卷积有更少的FLOPs，感受野相同。
  
• Bilateral Guided Aggregation
  该层利用语义分支的上下文信息来指导细节分支的特征响应。通过不同的尺度指导，可以捕获不同的尺度特征表示。同时，与简单的组合方式相比，这种引导方式可以使两个分支之间进行有效的通信。
  
• Booster Training Strategy
  为了进一步提高分割精度，提出了一种增强训练策略。顾名思义，它类似于火箭助推器:它可以在训练阶段增强特征表示，在推理阶段可以丢弃。在推理阶段增加的计算复杂度很小。下图显示了分割head的详细信息。
  

参考博客：https://bbs.cvmart.net/topics/1797
https://blog.csdn.net/u011231598/article/details/111220418