图像分割总结——结构，损失函数，数据集和框架

图像分割简单总结

一、图像分割

将图像分割为多个部分的过程，每个像素与一个对象类型相关联

主要类型

• 语义分割：相同类型对象使用一个类标签
• 实例分割：相似对象使用各自的标签

---

二、图像分割结构

基本结构

• 编码器
  • 通过滤波器从图像种提取特征
• 解码器
  • 生成输出，包含对象轮廓的对象分割掩码

1、U-Net

体系结构由两部分组成

• 左侧为收缩路径
  • 为获取上下文信息；3x3卷积组成
• 右侧为扩展路径
  • 为帮助精确定位；ReLU —> 2x2最大池用于下采样

【资料链接】

2、FastFCN — Fast Fully-Connected-Network

用一个联合金字塔上采样（JPU）来替换膨胀卷积

在应用JPU时，核心部分采用全连接，JPU将低分辨率采样到高分辨率

【资料链接】

3、Gated-SCNN

由一个two-stream CNN架构组成

使用一个单独分支来处理图像形状信息，利用形状流来处理边界信息

【资料链接】

4、DeepLab

上采样滤波器的卷积用于密度预测

空间金字塔池实现多尺度的目标分割

利用DCNNs来改进目标边界定位

通过对滤波器插入零进行上采样；对输入特征进行稀疏采样来实现卷积

5、Mask R-CNN

在Faster R-CNN上扩展

使用边界框和语义分割将每个像素划分为一组类别，对对象进行分类和局部化

在ROI区域获得一个分割掩码，生成一个类标签和一个边界框作为输出

---

三、图像分割损失函数

1、Focal Loss

交叉熵被缩放，但随着对正确类的置信度增加，缩放因子衰减为零

训练中比例因子会自动降低简单样本的权重，并聚焦于困难样本

2、Dice Loss

最常用的

3、Intersection over Union (IoU) - balanced Loss

4、Boundary Loss

…

【其他】

---

四、数据集

1、Coco Dataset —— Common Objects in Content

80个类， 37.57GB

下载地址

2、PASCAL VOC - Visual Object Classes

20个类， 2GB

下载地址

3、The Cityscapes Dataset

下载地址

4、The Cambridge - driving Labeled Video Database - CamVid

下载地址

五、图像分割框架

1、FastAI library

2、Sefexa Image Segmentation Tool

3、DeepMask

4、MultiPath

5、OpenCV

6、MIScnn

7、Fritz