1. 概率图模型
概率图模型一般用来作为语义分割的后端优化,主要是细化语义分割边界。
- 条件随机场
- 马尔可夫随机场
2. 神经网络
- FCN 2014
Fully Convolutional Networks for Semantic Segmentation
图像语义分割的输出需要是个分割图,然而分类网络的全连接层的输出是一个一维的,因此FCN被提出来进行二维分类,如结构图所示,特点有:- 卷积化(Convolutional)
卷积化即是将普通的分类网络,比如VGG16,ResNet50/101等网络丢弃全连接层,换上对应的卷积层。 - 上采样(Upsample)
上采样指的是任何可以让你的图像变成更高分辨率的技术。上采样方式有Unpooling,Deconvolution,插值方法。 - 跳层连接(Skip Layer)
网络比较深的时候,特征图通常比较小,对这种特征图进行上采样——有很好的语义信息,但分辨率很差。 网络比较浅的时候,特征图通常比较大(接近input image),对这种特征图进行上采样——有很好的细节,但语义信息很差。
- 卷积化(Convolutional)
- SegNet 2016
SegNet: A Deep Convolutional Encoder-Decoder Architecture for Image Segmentation
- DeepLab 2015-2018
谷歌提出来的,博客分析 - PSPNet 2017
Pyramid Scene Parsing Network
贡献:利用金字塔池化层来提取背景信息,提出了一个损失函数xiliary loss)