图像分割场景沉淀下来的神经网络结构

U-Net

特点：

• 编码器-解码器架构：U-Net采用对称的编码器（下采样）和解码器（上采样）结构，保持了输入图像的空间分辨率。
• 跳跃连接：在不同尺度的特征图之间使用大量的skip connections，将编码器中的高分辨率特征直接传递给解码器，有助于恢复丢失的空间细节。
• 轻量级：相对于一些复杂的多阶段检测网络，U-Net结构相对简单，适用于有限数据集和计算资源的场景。

应用场景：主要用于生物医学图像分割、卫星影像分析、细胞检测等需要精细像素级标注的任务。

Mask R-CNN

特点：

• 两阶段方法：基于Faster R-CNN，首先通过RPN生成候选区域，然后对每个候选区域进行分类、边界框回归以及实例分割。
• 并行预测：同时进行目标检测（bbox回归）和实例分割（像素级mask预测），每个物体都有独立的分割掩模。
• 多任务学习：在同一网络中联合优化分类、定位和分割任务。

应用场景：广泛应用于通用物体实例分割、人体姿态估计、视频监控、自动驾驶等领域。

DeepLab

特点：

• 空洞卷积（Atrous Convolution）：利用不同膨胀率的空洞卷积来捕捉多尺度上下文信息，无需降低分辨率。
• 条件随机场（CRF）后处理：早期版本结合CRF进行后处理，提升边缘平滑度；后期版本如DeepLabv3+引入ASPP（Atrous Spatial Pyramid Pooling）模块替代CRF。
• 多尺度融合：通过ASPP模块融合不同感受野的特征，提高对物体大小和形状变化的适应能力。

应用场景：适用于街景、自然景观等复杂场景的语义分割，以及大规模图像集的高效处理。

PSPNet

特点：

• 金字塔池化模块：通过不同尺度的空间金字塔池化提取全局上下文信息，增强对物体位置和尺度的敏感性。
• 多尺度融合：将金字塔池化得到的多尺度特征与原始特征图融合，提升分割精度。

应用场景：在城市街景、遥感图像、医疗图像等需要捕捉大范围上下文信息的场景有优秀表现。

SegFormer

特点：

• Transformer架构：基于纯Transformer设计，使用多层Transformer编码器代替卷积网络，以自注意力机制捕获长程依赖。
• MiT（Mix Transformer）作为骨干网络：具有轻量级、高效且易于训练的特点。
• 简单解码器：仅通过线性变换和上采样实现，避免复杂的解码过程，保持模型简洁。

应用场景：适用于各种语义分割任务，尤其在大规模数据集上展现出高效性和准确性。

Swin-Unet

特点：

• Swin Transformer：利用局部窗口自注意力机制，结合移位操作，兼顾计算效率与长距离依赖建模。
• U型结构：结合U-Net的编码器-解码器架构，通过跨层跳跃连接传递多尺度特征。

应用场景：适用于医疗图像、遥感图像、自然场景等各类图像的语义分割。

HRNetV2

特点：

• 高分辨率特征保持：在整个网络中保持高分辨率特征流，同时通过多分支融合不同尺度信息。
• 多尺度并行处理：多个分支在不同分辨率下并行计算，最后融合得到丰富的多层次特征。

应用场景：在行人检测、关键点检测、语义分割等任务中表现出色，尤其是对小目标和细节丰富的图像分割效果良好。

BANet

特点：

• 双向注意力机制：结合自注意力和交叉注意力，既关注全局上下文又考虑像素间的相互关系。
• 多路径融合：通过多条路径学习不同层次的特征，并融合以提升分割性能。

应用场景：适用于通用图像语义分割，特别是在城市街景、遥感图像等领域。

SimSiam Segmentation

特点：

• 自监督学习：基于SimSiam（简单 siamese 表示学习）的思想，利用无标签数据进行预训练，提升模型泛化能力。
• 对比学习：通过正负样本对之间的相似度约束，学习鲁棒的特征表示。

应用场景：适用于缺乏大量标注数据的场景，通过自监督学习预训练模型，用于后续有监督的图像分割任务。