论文阅读笔记：Deep Object Co-segmentation via Spatial-Semantic Network Modulation（AAAI2020）

协同分割论文阅读：Deep Object Co-segmentation via Spatial-Semantic Network Modulation（AAAI2020）

论文原文    代码

提出了一种基于空间和语义调制的图像协同分割深度网络结构。采用骨干网提取多分辨率图像特征。利用相关图像的多分辨率特征作为输入，设计了一个空间调制器来学习每个图像的掩码。空间调制器通过无监督学习捕获图像特征描述符之间的相关性。学习掩码可以在抑制背景的同时粗略地定位共同前景对象。对于语义调制器，我们将其建模为一个监督的图像分类任务。提出了一种分级的二阶池化模块，用于对图像特征进行分类转换。两个调制器的输出通过移位和尺度操作来处理多分辨率特征，使特征集中在共目标区域的分割上。该模型是端到端的训练，没有任何复杂的后处理。

spatial modulation branch:用无监督学习（聚类）学习出每张图片的掩码，以融合多分辨率图像特征为输入，将掩码学习问题转化为一个整数规划问题。它的连续松弛有一个闭型解。（Its continuous relaxation has a closed-form solution.）所述学习参数表示所述图像像素对应的是前景还是背景。 通过该分支获取整组图的共同前景目标的粗略定位。

semantic modulation branch：在语义调制分支中，设计了一个层次化的二阶池操作符(HSP)来转换卷积特征进行对象分类。空间池(SP)能够捕获高阶特征统计相关性。提出的HSP模块有两个SP层。它们致力于捕获整体特征表示的远程通道依赖关系。HSP层的输出被送入一个全连接层进行对象分类，并作为语义调制器使用。

three sub-networks:

spatial modulation sub-net fspa,

semantic modulation sub-net fsem