Paper reading:高分辨率图像分割：From Contexts to Locality: Ultra-high Resolution Image Segmentation ICCV2021

Paper reading：From Contexts to Locality: Ultra-high Resolution Image Segmentation via
Locality-aware Contextual Correlation 

文章简介：本文依然采用高分辨率图像分割的路线，其中高分辨率大尺度图像可以分割局部图像块，然后再对局部的图像块的分割结果进行融合。具体来说，本文提出一个位置感知上下文关联的分割模型来处理那些局部图像块，可以利用局部图像块之间的关联性及其上下文关系来处理那些变化大的语义区域。除此之外，我们提出一个上下文语义细化的网络，能够利用上下文语义信息来连接那些局部分割结果，以减少边界伪影和细化掩模轮廓。

方法主要流程：

i) 给定一个高分辨率图像，均匀地分成多个图像块；

ii) 预测每一个局部图像块的分割结果；

iii) 最后把局部分割结果融合为最终的整体图像分割结果。

 局部图像分割模型

分割出来的局部图像块及其不同尺度的上下文信息，resize到同一个尺度上，送入到特征抽取网络。

对于图像块和对应的上下文图像块，他们之间的关联关系是利用两个图像块之间的特征內积，利用softmax之后构建attention map，进而与图像块进行关联，求得关联之后的特征。

多个上下文信息的融合：

 进而通过解码网络得到最终的分割结果。这里用到focus loss 作为目标函数，优化网络模型参数。

上下文语义细化网络: 利用上下文语义掩码来细化局部分割掩码。

 

 实验分析：

（1）DeepGlobe  This dataset contains 803 ultra-high resolution images (2448*2448 pixels). Following, we split images into training, validation and testing sets with 455, 207, and 142 images respectively.

 （2）Inria Aerial This dataset covers diverse urban landscapes, ranging from dense metropolitan districts to alpine resorts. It provides 180 images (from five cities) of 5000 * 5000 pixels, each annotated with a binary mask for building/non-building areas. We follow the protocol as [4] by splitting images into training, validation and testing sets with 126, 27, and 27 images, respectively.