Class-Wise Dynamic Graph Convolution for Semantic Segmentation

Class-Wise Dynamic Graph Convolution for Semantic Segmentation

作者机构：北大，商汤，北邮
来源：ECCV2020
摘要：之前的工作可能会将潜在的误导上下文信息进行了聚合，提出CDGC（Class-Wise Dynamic Graph Convolution）模块可适应的传播信息。该模块中，同类像素间进行图推理。进一步利用该模块构建了CDGCNet，该网络包括一个基础分割网络和CDGC模块。基于基础分割网络的分割结果及得到的feature map，对于预测结果的每一类像素，构造图卷积网络，使用图卷积得到每个像素refined的特征。
引言：
如何利用上下文信息？（1）更深的网络或空洞卷积，缺点：不灵活，不能针对内容可适应、对逐像素预测任务不友好（细节损失）；（2）基于自注意力的方法，缺点：通过局部或非局部线索得到的上下文信息，对所有的区域加权卷积会导致学习有判别力得像素级特征较难、上下文信息应该是针对特定类别的，不同类的区域的特征间的学习是不恰当的。
CDGC网络的好处：（1）利用了长距离上下文依赖关系；（2）聚集了对像素标签预测的有用信息
自注意力方法实际上是构建了一个全连接图。我们对其进行改进，得到更好的性能。改进：（1）逐类构建图，每类的有用信息可以独立学习；（2）推理时只是用了部分上下文区域（对困难正样本、困难负样本、简单样本进行了动态采样）。
CDGC模块将M类的粗糙预测结果用作每类的mask，分别得到M类的像素特征。对每类像素特征，构建图卷积网络，得到refined得特征。M类的refined特征使用$1\ast 1$卷积融合，融合后的refined特征与粗糙分割网络得到的特征拼接，用于再次得到精细分割结果。

CDGC模块

粗分割map结果共$N=H\ast W$个像素，因此得到M个N维向量map。粗分割网络得feature map维$C\ast H\ast W$，使用该特征，将每一类map中的像素作为节点，构建图网络，利用图卷积网络得到该类像素得refined特征。将得到的$M\ast C\ast N$维特征reshape为$M\ast C\ast （H\ast W）$，并使用1*1卷积将特征聚合为C通道。