图像分割--ICCV2019

1.《Asymmetric Non-local Neural Networks for Semantic Segmentation》

创新点: Non-local 模块因为计算整张图（size=N）的相似度关系然后给出输出结果，导致计算量很大，GPU占用很高。为降低计算量，本篇论文提出非对称的Non-local 模块，即通过下采样得到部分具有代表性的点（size=S），并以此计算相似度关系，进而给出输出结果，大大降低了计算量。 区别如图所示：

这个下采样操作是通过Pyramid Pooling Module实现的。

总结：非对称Non-local的核心思想便是借助Pyramid Pooling 操作完成采样，用采样点作为代表 完成Non-local计算。因为采样点个数S远远小于整幅图个数N，故计算量大大降低。
根据上述思想，设计APNB(Asymmetric Pyramid Non-local Block)和AFNB(Asymmetric Fusion Non-local Block)模块，AFNB融合了Stage4和Stage5两个level信息，可为APNB提供更多long-range dependencies线索，最终的网络模型如下：

2.《Adaptive Context Network for Scene Parsing》

核心思想：通过匹配每个像素特征和全局特征（通过global average pooling得到）的相似度（欧氏距离）得到全局特征补充系数（global gated coefficient）和局部特征补充系数（local gated coefficient = 1 - global gated coefficient），从而实现每个像素自适应的补充全局或局部特征。 理论依据是：该点像素与全局像素越相似，越应该多补充全局特征，这也很有可能是一个大的分割物体，反之，则很有可能是一个局部小物体，应多补充局部特征。

网络结构图如下：

3.《Dynamic Multi-scale Filters for Semantic Segmentation》

创新点：以前的工作在训练结束后卷积核参数就固定了，而本文不同尺寸的卷积核都是根据输入特征动态的自适应学习出来的，通过Depth-wise Convolution 作用于feature上给出输出。

3.《SPGNet: Semantic Prediction Guidance for Scene Parsing》

创新点：受姿态估计领域stacked hourglass model启发，堆叠Encoder-Decoder结构，同时又设计SPG模块（与Squeeze-and-Excite 和 Gather-and-Excite相似）利用上一阶段的prediction做feature的attention。
网络结构图如下：

SPG module 结构如下：

SPG模块与SE，GE模块结构类似。

5.《Boundary-Aware Feature Propagation for Scene Segmentation》

网络结构图如下：

创新点包括：
（1）将boundary detection 当成分类任务，即在原分割类别上（N）增加一个边界类（N+1），这样做基本不改变原本网络结构，易于实现。
（2）使用图模型。设计 Unidirectional Acyclic Graphs (UAGs) 替代了 Directed Acyclic Graphs (DAGs)（出自DAG-RNN网络结构），提高了执行速度和效率。

（3）提出boundary-aware feature propagation(BFP)模块，结合边界信息，同一类别物体信息流通量大，不同类别物体信息流通小。 这样做，既加强了同一分割区域特征的相似性，又保证了不同分割区域之间的差异性。
如图，P_t 为传播系数，受b_t控制，b_t为边界boundary confidence.



如果像素在边界，则该点边界得分 b_t会很高，因此p_t会很小，从而抑制了信息的传播，反之则促进信息流通。

6.《Recurrent U-Net for Resource-Constrained Segmentation》

网络结构图如下：

核心创新点为 recurrent unit DRU 和 SRU 中 包含 encoding-decoding layers（下采样-上采样）， 所以可以很好的嵌入UNet 网络。
循环结构的设计尤其适用于数据资源有限的情况。