全连接条件随机场_【图像后处理】python实现全连接CRFs后处理

前言

目前图像像素级语义分割比较流行使用深度学习全卷积神经网络FCN或者各种FCN的改进版U-Net、V-Net、SegNet等方法。这些模型中使用了反卷积层进行上采样操作，虽然能够将特征图恢复至原图尺寸，但也造成了特征的损失，自然而然产生了分类目标边界模糊的问题。为了得到更精确的最终分类结果，通常要进行一些图像后处理。全连接CRFs是在目前深度学习图像分割应用中常用的一种图像后处理方式，它是CRFs的改进模式，能够结合原始影像中所有像素之间的关系对深度学习得到的分类结果进行处理，优化分类图像中粗糙和不确定性的标记，修正细碎的错分区域，同时得到更细致的分割边界。

全连接CRFs原理

物体通常由大的空间相邻的区域表示，每个像素

都拥有一个类别标签

，而且还有一个对应观测值

，这样在无向图中每个像素点都成为某一个节点，若使用像素与像素之间的关系作为边连接，这样就组成了条件随机场。最终目的就是使用观测值

来推测这个像素i本来拥有的类别标签

，如下图所示：

CRFs

全连接CRFs与稀疏CRFs的最大差别在于：每个像素点都与所有的像素点相连接构成连接边。如果一张图像大小是256*256，那么就相当于有65536个像素点，因此如果采用全连接CRFs的话，那么就会构造出65536*65536条边。如果图像大小再大一些，那么就会变得十分恐怖，普通条件随机场推理算法根本行不通。这时，文献《Efficient Inference in Fully Connected CRFs with Gaussian Edge Potentials》给出了快速推理算法。接着我们就简单讲解具体的求解算法。

全连接条件随机场符合吉布斯分布，如下公式所示：

其中

是观测值，

是能量函数，该能量函数由一元势函数和二元势函数构成，如下公式所示：

其中的一元势函数用于衡量当像素点

的观测值为

时，该像素点属于类别标签