实例分割_CVPR2020：Deep Snake 用于实时实例分割

点击上方“小白学视觉”，选择“星标”公众号

重磅干货，第一时间送达

源码：https://github.com/zju3dv/snake/

本文的贡献 1) 提出了一种基于学习的用于实时实例分割的蛇算法，介绍了用于轮廓学习的圆形卷积。 2) 提出了一个两阶段的管道进行实例分割：初始轮廓提议和轮廓变形。 在Cityscapes,KINS,SBD和CoCo数据集上展示了该方法的最新性能。 对于512x512图像，该算法以32.3fps的速度运行，这对于实时应用程序非常有效。

研究背景

实例分割是许多计算机视觉(例如视频分析，自动驾驶和机器人抓取)的基石，该任务需要准确性和效率。大多数最新的实例分割方法在对象检测器给出的边界框内执行逐像素分割，这可能对不准确的边界框敏感。将对象形状表示为密集的二进制像素通常会导致昂贵的后处理。 本文介绍了一种新颖的基于轮廓的方法，简称深度蛇，用在实时实例分割上面。 与最近的一些直接从图像中回归对象边界点的坐标不同，深度蛇使用神经网络迭代变形初始轮廓以匹配对象便捷，从而通过基于学习的方法实现蛇算法的经典算法。对于轮廓上的结构化特征学习，建议使用圆形卷积，与通用图卷积相比，可以更好地利用轮廓的循环图结构。在深蛇的基础上，开发了一个两阶段的管道进行实例分割：初始轮廓建议和轮廓变形，可以处理对象定位中的错误。 与基于像素的表示相反，轮廓不限于边界框内，且具有较少的参数。这便是蛇或活动轮廓，给定一个初始轮廓，snake算法通过优化以低级特征(例如图像增强或梯度)定义的能量函数，将其迭代变形以匹配对象边界。 当然最近也有一些基于学习的分割方法，将对象表示为轮廓，尝试直接从RGB图像中回归轮廓顶点的坐标。尽管该法速度很快，大多不抵基于像素的方法。 基于像素的方法。大多数方法在区域提议中的像素级别上执行实例分割，在标准CNN上特别有效。代表性的是Mask R-CNN，检测对象，然后使用掩码预测器对提议的框内的实例进行分段。还有PANet等，这些方法的局限性在于无法解决本地化错误。作者的方法能将检测到的盒子变形到对象边界，因此对象形状的空间扩展将不受限制。 还有一些没有区域提议的基于像素的方法。其间，每个像素都会产生辅助信息，然后一种聚类算法会根据其信息将像素分组称为对象实例。由于掩模由密集的像素组成，因此后聚类算法往往很耗时。 基于轮廓的方法。在这些方法中，对象形状包括沿对象边界的一系列顶点。传统的蛇算法，首先引入了基于轮廓的图像分割算法。通过相对于轮廓坐标优化手工制作的能量，将初始轮廓