协同分割论文阅读:Deep Object Co-segmentation via Spatial-Semantic Network Modulation(AAAI2020)
提出了一种基于空间和语义调制的图像协同分割深度网络结构。采用骨干网提取多分辨率图像特征。利用相关图像的多分辨率特征作为输入,设计了一个空间调制器来学习每个图像的掩码。空间调制器通过无监督学习捕获图像特征描述符之间的相关性。学习掩码可以在抑制背景的同时粗略地定位共同前景对象。对于语义调制器,我们将其建模为一个监督的图像分类任务。提出了一种分级的二阶池化模块,用于对图像特征进行分类转换。两个调制器的输出通过移位和尺度操作来处理多分辨率特征,使特征集中在共目标区域的分割上。该模型是端到端的训练,没有任何复杂的后处理。
spatial modulation branch:用无监督学习(聚类)学习出每张图片的掩码,以融合多分辨率图像特征为输入,将掩码学习问题转化为一个整数规划问题。它的连续松弛有一个闭型解。(Its continuous relaxation has a closed-form solution.)所述学习参数表示所述图像像素对应的是前景还是背景。 通过该分支获取整组图的共同前景目标的粗略定位。
semantic modulation branch:在语义调制分支中,设计了一个层次化的二阶池操作符(HSP)来转换卷积特征进行对象分类。空间池(SP)能够捕获高阶特征统计相关性。提出的HSP模块有两个SP层。它们致力于捕获整体特征表示的远程通道依赖关系。HSP层的输出被送入一个全连接层进行对象分类,并作为语义调制器使用。
three sub-networks:
spatial modulation sub-net fspa,
semantic modulation sub-net fsem