[深度学习从入门到女装]Adaptive Affinity Fields for Semantic Segmentation

论文地址：Adaptive Affinity Fields for Semantic Segmentation

 

这是伯克利发在ECCV2018上一篇关于分割的论文

论文提到了目前两种结合region进行分割优化的方法，CRF和GAN

Adaptinve AFfinity Fields（AAF）

现如今的语义分割任务都归结为pixel-wise supervision任务，但是对于pixel-wise来说，并不能结合整个上下文label，只是独立的再进行分割，就比如一辆汽车在路上的概率肯定大于在房顶上的概率，但是这种inter-class的关系在pixel-wise supervision中没有办法体现，pixel-wise supervision只能在intra-class之间进行优化

因此本文提出了Adaptinve AFfinity Fields（AAF）进行分割的优化，也就是在进行region-wise supervision，对于原本的pixel-wise loss进行改进，使用AAF得到pixel相邻的lablel之间的关系，为region-wise loss

传统的pixel loss都是unary的， 

本文提出的region-wise loss：

N（·）表示像素的neighborhood，n为所有像素的数量

Affinity Field Loss Function

对于pairwise pixel affinity不是基于图像，而是基于ground-truth label map上的

如果像素点i和它的邻居j是同一类，那么进行一个grouping force让网络在i和j上的预测结果相似，反之则进行一个separating force让网络在i和j的预测结果相反，过程如图3左所示

表示i和j类别相同时的grouping force，表示i和j类别不同时的separating force

其中为KL散度，

 

size-adaptive affinity field loss function