语义分割常见应用

目录

一、 自动驾驶汽车

二、 医学影像诊断

三.语义分割任务评估 

3.1 mIoU 

3.2 mAcc 

四.语义分割方法综述 

4.1 Encoder-Decoder 结构

4.2 上采样方法

---

一、 自动驾驶汽车

        语义分割常见的应用场景之一是自动驾驶领域，我们希望自动驾驶汽车有 「环境感知」的能力，以便其可以安全行驶；下图为自动驾驶过程中实时分割 道路场景：

二、 医学影像诊断

         语义分割的另外一个大应用场景是医疗影像诊断，机器可以智能地对医疗 影像进行分析，降低医生的工作负担，大大减少了运行诊断测试所需的时间； 下图是胸部X光片的分割，心脏（红色），肺部（绿色以及锁骨（蓝色）：

         语义分割的目标是：将一张RGB图像（heightwidth3）或是灰度图 （heightwidth1）作为输入，输出的是分割图，其中每一个像素包含了其类别 的标签（heightwidth1）。

        从上图可以看到在语义分割任务中，像素级别的标签设置，我们会使用 one-hot编码对类标签进行处理。  

        最后，可以通过argmax将每个深度方向像素矢量折叠成分割图，将它覆盖 在原图上，可以区分图像中存在不同类别的区域，方便观测（也叫mask/掩码） 

三.语义分割任务评估 

        对于语义分割任务，我们会通过 mIoU（mean Intersection-OverUnion） 和 mAcc（mean Accuracy） 指标来进行效果评估。

3.1 mIoU 

分割网络的评价指标：mIoU

mloU：分割每一类别的交并比（IOU）

3.2 mAcc 

分割网络的评价指标：mAcc

mAcc：Pred和GT对应位置的分类准确率

四.语义分割方法综述 

4.1 Encoder-Decoder 结构

        针对语义分割任务构建神经网络架构的最简单的方法是简单地堆叠多个卷 积层（使用same填充以维持维度）并输出最终的分割图。

        这种结构通过特征映射的连续变换，直接去学习从输入图像到其对应分割 的映射，缺点是在整个网络中保持全分辨率的计算成本非常高

        对于深度卷积网络，浅层主要学习低级的信息，随着网络越深，学习到更 高级的特征映射。为了保持表达能力，我们通常需要增加特征图 feature map 的数量（通道数），从而可以得到更深的网络。 

        在图像分类任务中，我们只关注图像是什么（而不是位置在哪），因此 CNN的结构中会对特征图降采样（downsampling）或者应用带步长的卷积 （例如，压缩空间分辨率）。但对于图像分割任务而言，我们希望模型产生全 分辨率语义预测。

        图像分割领域现在较为流行的是编码器解码器结构，其中我们对输入的空 间分辨率进行下采样，生成分辨率较低的特征映射，它能高效地进行分类，而 后使用上采样将特征还原为全分辨率分割图。

4.2 上采样方法

我们有许多方法可以对特征图进行上采样。

「池化」操作通过对将小区域的值取成单一值（例如平均或最大池化）进 行下采样，对应的「上池化」操作就是将单一值分配到更高的分辨率进行上采 样。

        转置卷积（Transpose Convolution，有时也翻译为「反卷积」）是迄今为 止最流行的上采样方法，这种结构允许我们在上采样的过程中进行参数学习。 

        典型的「卷积」运算将采用滤波器视图中当前值的点积并为相应的输出位 置产生单个值，而「转置卷积」基本是相反的过程：我们从低分辨率特征图中 获取单个值，并将滤波器中的所有权重乘以该值，将这些加权值投影到输出要 素图中。  

        某些大小的滤波器会在输出特征映射中产生重叠（例如，具有步幅 2 的3*3 滤波器 - 如下面的示例所示），如果只是简单将重叠值加起来，往往会在输出中 产生棋盘格子状的伪影（artifact）。