语义分割-Deeplab1|2|3, CRF as RNN介绍

只整理关键点

---

属于语义分割范畴，语义分割需要分割每个像素到指定类别上，并组合成几个有意义的目标，打上标签，应用场景：

1. 自动驾驶
2. 医疗辅助

deeplab1 & 2

1. dcnn 粗分割，计算大致位置
2. CRF 精分割

标准的 dcnn 输出特征分辨率小+对输入变换具有内在不变性，deeplab 引入了空洞卷积（atrous conv, 解决分辨率问题）+ CRF（解决精分割问题）。

CRF 意在给相邻的像素进行建模，相近的像素更可能是同一个 label，定义每个像素属于某个 label 的概率，通过迭代来优化结果。

deeplab1是在 VGG16 的基础上做了修改和 finetune.
deeplab2做出的改进是采用 ASPP 引入了多尺度，将基础层 VGG16改成了 ResNet，并使用率不同的学习策略（poly）【这里起始看效果，CRF 起到的作用相比 v1 已经很弱了】
deeplab3提出更通用的框架，适用任何网络，在 ASPP 中使用率 BN 层，没有使用 CRF

CRF as RNN

核心是把CRF的求解推理迭代过程看成了RNN的相关运算，嵌入CNN模型中，达到了真正的算法之间的融合。
先要了解 FCN，稀疏/稠密条件随机场在图像分割中的应用。

FCN 的结果粗糙，原因在于：

1. CNN 感受野过大
2. CNN缺少对空间和边缘信息的约束

此算法的核心就是讲 FCN 粗分割与 CRF 精分割融合到一起，把CRF的学习、推理过程看成是RNN，然后嵌入CNN模型中，搞出了一个新的招式，完成了端到端的训练、预测。

参考deeplab 系列
参考2