Joint fully convolutional and graph convolutional networks for weakly-supervised segmentation of

Author: Jun Zhang

期刊：MIA

背景

在数字病理中，组织区域分割是必不可少的，先前的研究通常需要全监督（例如像素级别的标注），然而这种标注是比较难得的。

相关贡献

这篇文章的主要贡献如下：

1.用了图像级别前景区域的标签作为弱标签。

2.用动态超像素操作连接FCN和GCN，使得用端到端的方式训练我们的FGNet成为可能。

3.用弱监督学习策略预热提出的FCN模型。最后结果可以与强监督模型相匹敌。

方法

大致流程：

输入图像经过FCN得到像素级别的特征。根据特征生成超像素，以超像素为节点，得到节点特征以及边，由像素级特征和超像素的直方图特征初始化边的权重矩阵，再经过图神经网络，得到超像素标签。

       算法流程：

输入图像集合I，第s个图像Is的前景区域标注是Ps，不确定范围是rs,FCN由五个卷积层组成，每个卷积层后面是relu和batch normalization。前4个卷积层3*3，最后一个1*1。

通过FCN，Is被映射为fcn(Is,W1),它采用无监督学习策略预热FCN，对特征图设定了一个阈值，i j是输入图像的坐标，k是通道。FCN的损失函数是欧米伽1（W1）。

整体算法流程是：Is输入FCN得到Fs，由Fs经过SLIC超像素聚类算法得到Cs，其中A是随机的。然后由Fs和Cs的池化得到节点特征（公式3），把超像素作为节点进一步得到边，也就是邻接矩阵（公式4），通过Fs和Cs得到的直方图特征来初始化边的权重矩阵（公式5）。

它基于超像素中每一类别的出现频率。k是类别总数，xk是在第a个超像素中第k类出现的概率。然后进入到弱监督分类模型利用GCN，得到所有节点的标签概率，为了计算损失。他们提出使用一个不确定范围约束来识别Ls中的确定性节点。