学习记录——BiSeNetV1、BiSeNetV2、BiSeNetV3、PIDNet、CMNeXt

Chaoy6565

已于 2023-09-11 10:56:18 修改

阅读量1k

点赞数 2

分类专栏：分割文章标签：语义分割 BiSeNetV1 BiSeNetV2 BiSeNetV3

于 2023-07-12 20:52:07 首次发布

本文链接：https://blog.csdn.net/weixin_45464524/article/details/131689618

版权

本文详细介绍了BiSeNetV1-V3的网络结构及其改进，包括Spatial Path和Context Path的设计，以及特征融合模块。BiSeNetV2的亮点在于Guided Aggregation。BiSeNetV3提出了STDCNet短时密集聚合模块。PIDNet受到PID控制器启发，具有比例、积分、微分三个分支，解决双分支模型的超调问题。CMNeXt则是一个针对任意模态语义分割的非对称架构模型，具有Self-Query Hub和Parallel Pooling Mixer模块。

摘要由CSDN通过智能技术生成

BiSeNetV1

BiSeNetV1为了在不影响速度的情况下，同时收集到空间信息和语义信息，设计了两条路：
Spatial Path: 用了三层stride为 2 的卷积，卷积+BN+RELU模块。最后提取了相当于原图像 1/8 的输出特征图。由于它利用了较大尺度的特征图，所以可以编码比较丰富的空间信息，并生成高分辨率特征图。
Contex Path：上下文路径的backbone可以替换成任意的轻量网络，比如 Xception，ShuffleNet 系列，MobileNet 系列。可以看到，为了准确率考虑，Context Path 这边使用了类似 U-shape 结构的设计，最终进行了32倍下采样。不过，不同于普通的 U-shape，此处只结合了最后两个 Stage，这样设计的原因主要是考虑速度。值得注意的是，Context Path 依然在最后使用了 Global Average Pooling 来聚合特征、降维、减计算量，看下图中的ARM模块，通过全局池化+卷积+BN+sigmoid模块，设计了一个注意力机制(类似SENet)，来学习每个通道特征的重要性。
Feature Fusion Module（特征融合）在特征的不同层级给定的情况下，每层输出特征都有各自的重要性。特征融合模块首先连接 S p a t i a l P a t h Spatial PathSpatialPath 和 C o n t e x t P a t h Context PathContextPath 的输出特征，接着，通过批归一化平衡特征的尺度。下一步，像 SENet 一样，把相连接的特征池化为一个特征向量，并计算一个权重向量。这一权重向量可以重新加权特征，起到特征选择和结合的作用。在这里插入图片描述

BiSeNetV2

双边引导聚合网络。重点在 Guided Aggregation上。
论文中重新简述了语义分割的的一些发展。
如下图a中，利用空洞卷积可以扩大感受野的能力，来替换下采样和上采样操作。
B图还是熟悉的Unet网络结构
C图就是BiSeNet中双端网络，一条路提取空间细节信息，另一条路提取语义抽象信息。
在这里插入图片描述

网络结构

在这里插入图片描述
还是标准的双边网络，一条路负责细节信息，另一条路负责语义信息。

Detail Branch 三次下采样，最终下采用8倍，设计是遵循 宽而短 的原则。文中解释，这条路是为了获取细节信息，所有网络需要宽，也就意味着有更多的卷积核来提取细节特征。
Semantic Branch 4次下采样，最终下采样 16倍，设计是遵循 窄而长的原则。原因是这条路为了提取深层次的语义特征，对网络深度有要求，为了效率速度，可以牺牲网络的宽度