NTU课程笔记：DeepLab

1 DeepLab v1

Semantic Image Segmentation with Deep Convolutional Nets and  Fully Connected CRFs

1.1 CRF

1.1.0限制图像光滑度 

 

有几种不同的方法来限制图像的光滑度：

•  对每个像素点，将邻居点的平均值作为更新后的“光滑值”
•  对每个像素点，将邻居点的加权平均值作为更新后的“光滑值”（权重取决于颜色、位置等）
•  添加光滑过滤器（可以进行多次过滤）：双线性过滤、高斯过滤。。
•  使用CRF（条件随机场）
•  在训练过程中加入光滑损失函数

1.1.1 DenseCRF

Efficient Inference in Fully Connected CRFs with Gaussian Edge Potentials, NIPS 2011

 

• 首先建一张图
  • 每一个像素/一块区域 对应了一个节点
  • 至于边的话，如果是grid graph，那么只把相邻的两个点链接起来；如果是全连接图，那就是每个点连接起来
• 

 

 

然后每个点有自己的属性特征/函数；点与点之间有它的属性特征，CRF对他们分别建模 

 

 

不过，随着后续CV模型的精进，可能每个点的feature已经可以很光滑、可以表现出很好的能力了，所以后续模型使用CRF的就不太多了

2 DeepLab V2

引入空洞池化