AI图像处理的语义分割

语义分割定义

关注如何将图像分割成属于不同语义类别的区域。这些语义区域的标注和预测都是像素级的。

语义分割中图像有关 狗、猫和背景的标签。

可以看到，与目标检测相比，语义分割标注的像素级的边框显然更加精细。

每个像素都被区分成了三个类别中的一个类别

深度卷积网络在语义分割任务中的应用，通常采用的是全卷积网络（Fully Convolutional Networks, FCNs）及其衍生模型结构。这些模型的目的是将输入图像转化为像素级别的分类结果，即每个像素都被赋予一个类别标签，从而实现对图像中每个对象或区域进行精细的分割

全卷积网络架构处理语义分割

全卷积网络在处理语义分割任务时，就像一位图像侦探，它首先用放大镜（卷积层）细致入微地研究输入的图像，寻找并抽取各种特征线索，比如纹理、边缘和形状等。

接着，这位侦探会把所有收集到的线索进行整理归类（通过1x1卷积层），确保每一类线索对应一个特定的类别。这样一来，每一条线索就代表了图像中可能属于某一类别的证据。

最后，侦探会使用一种神奇的透视镜（转置卷积层或上采样技术），将这些经过整理的线索图恢复到原始图像相同的大小。这样，在每一个像素位置上，都会有对应的一个“频道”（通道），这个“频道”所显示的内容就是该像素所属类别的预测结果。

总结来说，全卷积网络通过一系列的特征提取、通道转换与尺寸还原步骤，最终生成了一个与输入图像尺寸相同的输出图，其中每个像素点都携带了对该像素所属类别的概率预测，从而实现了对图像中每个区域进行精确的语义分割。

在语义分割领域广泛应用和研究的模型架构

如DeepLab系列（DeepLab V1-V3+）、U-Net、PSPNet等，它们进一步优化了空间信息的利用和特征融合。

1. **U-Net**（2015年提出）：U-Net是一种非常经典的全卷积网络结构，特别适用于医学图像等小样本数据集的语义分割任务。它采用了一个收缩路径（编码器）用于捕获上下文信息，以及一个扩展路径（解码器）来恢复空间细节，通过跳过连接将低层特征与高层特征相结合。

2. **DeepLab系列**：

- **DeepLabv1, v2, v3**（从2015年开始发展）：由Google团队开发，DeepLab利用空洞卷积（atrous convolution）增加感受野，减少参数量，同时引入了ASPP（Atrous Spatial Pyramid Pooling）模块以更好地捕捉多尺度上下文信息。

3. **FCN（Fully Convolutional Network）**（2014年提出）：它是最早应用于语义分割的全卷积神经网络，通过替换传统CNN中的全连接层为卷积层实现端到端的像素级预测。

4. **PSPNet (Pyramid Scene Parsing Network)**（2016年提出）：该模型通过全局平均池化等方式构建金字塔池化模块，提取不同层次的上下文信息。

5. **SegNet**：类似于U-Net，但解码部分使用编码阶段相应位置的最大池化索引进行上采样。

6. **BiSeNet（Bilateral Segmentation Network）**（2018年提出）：设计用于实时语义分割，该模型结合了两个分支，一个用于获取全局上下文信息，另一个专注于局部细节。

7. **HRNet（High-Resolution Network）**：保持高分辨率表示贯穿整个网络，有效融合了多尺度特征，尤其擅长于实例分割和人体关键点检测等任务。

8. **DeeplabV3+**（2018年提出）：是DeepLab系列的一个进化版本，它整合了Encoder-Decoder结构，并改进了ASPP模块。

这些大模型共同点是都致力于解决如何精确捕捉图像中不同大小的对象以及保持分割边界清晰的问题，从而在医疗影像分析、自动驾驶、遥感图像分析等诸多领域取得了显著成果。