基于实例分割的影像对象提取

随着计算机视觉领域中深度学习技术的不断发展，目标检测、图像分类、语义分割等任务场景得到了广泛关注。然而面对更为复杂的应用场景，新的视觉问题和任务也在被提出，如何解决目标密集型场景下的对象实例的分割提取成为关注较多的一个问题，因此基于深度学习的实例分割（Instance segmentation）模型也应运而生。

什么是实例分割

目标检测的任务是对单个对象分类，并用最小外接矩形进行定位。语义分割仅对每个像素进行分类，并不区分单个对象。而实例分割需要正确识别图像中的所有目标，并同时分割出不同对象实例。实例分割结合了计算机视觉任务里的目标检测和语义分割技术，其输出结果包含了对象的最小外接矩形，以及不同对象的分割结果。图1(d)中每个对象上不同颜色的分割结果，我们可以称之为对象的掩码。

图1 计算机视觉不同任务示例[1]

什么是实例分割中的Mask R-CNN模型

Mask R-CNN模型经常被用来解决实例分割问题，可以被看作Faster R-CNN模型的一个扩展。Faster R-CNN是经典的目标检测模型，而通过对其添加一个对每个兴趣区（Region of Interset，RoI）预测分割掩码的分支便完成了扩展。这个分支被称作Mask分支，可以逐像素的输出单个对象的分割掩码，因此扩展后的模型被称作Mask R-CNN模型。

图2 Mask R-CNN模型架构图[2]

实例分割在影像分析中的应用

由于实例分割能细化提取出不同对象的轮廓，它在遥感领域也得到了广泛的应用，常用于解决对象密集型场景下的分割提取问题。如城市建筑物分割、球场分割、港口船只分割等。

城市建设的快速发展伴随着大量建筑的迭代更新，如何根据建筑物建设分布情况来掌控城市总体发展方向是市政管理部门普遍关心的问题。出于对时效性和工作量的考虑，可以基于深度学习技术开展影像建筑物的分割提取。相比于基于深度学习的语义分割方法，实例分割可以对同类别下的不同对象进行区分，可以将紧邻的多个建筑物进行有效分割。与历史矢量建筑图斑进行叠加比对后，有助于有效统计建筑物数量，以及发现建筑物变化情况。

图3 建筑物提取效果献[3]

随着全民健身活动的兴起，用于有效开展健身活动的城市运动场所建设也逐步增多，实例分割还可用于运动场地类别，数量以及面积的统计。根据分割结果可以获取指定区域的运动场数量，进而可以计算运动场的服务人群数量，辅助城市基础设施的有效规划。

图4 网球场提取效果

除了各种地物的提取，实例分割还可用于港口船只的管理。港口船只密集停泊的场景导致语义分割难以得到单个船只的准确轮廓，而实例分割却可以解决这种对象密集型提取问题。根据分割得到的对象轮廓可以进一步推算船只吨位、载重量等信息，可用于评估港口的航运或渔业发展情况。

图5 船只提取效果[4]

SuperMap GIS产品支持情况

SuperMap GIS产品已经支持了基于Mask R-CNN模型的对象提取功能，可服务于各种影像的实例分割场景。用户只需要提供样本数据，即可通过产品工具完成训练数据生成、模型训练、模型推理的整个过程，进而得到分割结果，以及与目标检测结果类似的待提取对象的最小外接矩形。

图6、图7为利用SuperMap GIS产品对象提取功能推理出的两类光伏板对象效果。图6中部分光伏板横向间距较小，语义分割模型较难分割出独立的光伏板对象；而目标检测模型只能得到光伏板对象的外接矩形框，难以得到准确的光伏板轮廓。可以使用实例分割模型来提取光伏板对象轮廓，并将其转换为矢量结果用于后续的统计分析。

图6 光伏板提取效果1

图7 光伏板提取效果2

实例分割模型的产生是为了解决计算机视觉任务中的综合复杂应用，而它也切实满足了GIS中不少应用场景的需要。SuperMap基于Mask R-CNN模型开发的对象提取功能支持了对象的分割提取，可以服务于建筑物、光伏板、球场等各种地物的提取应用。

参考文献：
[1] Garcia-Garcia A, Orts-Escolano S, Oprea S, et al. A review on deep learning techniques applied to semantic segmentation[J]. arXiv preprint arXiv:1704.06857, 2017.
[2] He K, Gkioxari G, Dollár P, et al. Mask r-cnn[C]//Proceedings of the IEEE international conference on computer vision. 2017: 2961-2969.
[3]Ji S , Shen Y , Lu M , et al. Building Instance Change Detection from Large-Scale Aerial Images using Convolutional Neural Networks and Simulated Samples[J]. Remote Sensing, 2019, 11(11):1343.
[4] Feng Y , Diao W , Chang Z , et al. Ship Instance Segmentation From Remote Sensing Images Using Sequence Local Context Module[J]. 2019.