分割综述文章《Understanding Deep Learning Techniques for Image Segmentation》小结

阅读图像分割综述文章《Understanding Deep Learning Techniques for Image Segmentation》总结现有常用分割算法。

---

语义分割

• FCN
  • 存在问题：中间采样操作造成的图像锐度损失
  • 解决方案：对前层实现Skip connection
• DeepMask and SharpMask
  • 与FCN思想相同，但模型能够执行多任务
• RCNN
  • 存在问题：计算成本高，每个标定框都需要计算一个前向传递，而框的大小不同，无法实现共享计算
• Fast RCNN
  • 通过ROI pooling获得感兴趣区域固定大小的特征输出
• Faster RCNN
  • 不依赖于外部特征，使用中间激活映射提出边界框，加速特征提取过程
• Mask RCNN
  • 增加并行分支执行像素级特定对象的二分类，提供精确分割
• DeepLab
  • 空洞卷积，空间金字塔池化，完全连接条件随机场
• 利用像素相关性改进CNN
  • CRFs 改进FCN，边界细化
  • CRF as RNN，实现端到端
  • 合并高阶依赖项
• 多尺度网络
  • PSPNet，建立在FCN基础上的像素级分类网络
  • RefineNet，细化中间激活映射并将其分层连接，组合多尺度激活防止锐度损失
• 卷积自动编码器
  • UNet，添加Skip connections
  • SegNet，添加Forwarding pooling indices
• 对抗模型
  • 结合GAN进行对抗训练

实例分割

• Sequential Models
  • Recurrent models，如卷积LSTM
• Attention models

三种分割问题（语义，实例，全景）

1.弱监督和无监督模型

• Weakly supervised algorithms
  • 利用边界框。
• Unsupervised algorithms
  • 学习多重目标，在具有独立工作的神经网络之间进行对抗性协助。
  • 使用优化模块进行自监督，使用SLIC等标准算法从图像中提取超像素实现空间连续性。
• W-Net
  • 源于U-Net，利用全连接条件随机场细化分割图，剩下的片段用层次聚类合并。

2.交互式分割

• Two stream rusion
  • 具有两个并行分支，一个来自表示交互式流的图像，另一个来自图像，并将它们融合以执行分割。
• Deep extreme cut
  • 添加额外的通道，为四个极端区域创建热图作为该通道的输入，以此来获得精确分割。
• Polygon-RNN
  • 从典型VGGNet的不同层次提取多尺度特征，并将这些特征串接起来，为递归网络创建特征块。RNN应该提供一个点序列作为表示对象轮廓的输出。

3.建立更有效的网络

• ENet
  • 不具备对称编码器-解码器架构，而是具有更深的编码器和更浅的解码器，网络很浅，使用PReLU。
• Deep Layer Cascade
  • 较容易的片段在早期被发现，而后一层则集中在需要更精细片段的区域。
• SegFast
  • 与SqueezeNet的fire模块结合，通过深度可分卷积，使用可分离的差分转置卷积进行解码，大大减少参数，无GPU下前向传递0.38s可完成。
• Segmentation using superpixels
  • 过分割算法在基于局部信息将图像分割成小块上得到了很好的发展。在patch分类过程中，通过考虑不同级别的邻域超像素来捕获上下文。

思维导图如下：

总结

本文简单汇总了分割综述文章《Understanding Deep Learning Techniques for Image Segmentation》里面提到的分割网络模型及相关算法，文章大抵围绕以上几个方面进行了相关内容阐述。