浙江大学 CVPR 2020 oral
文章目录
从论文题目就可以看出论文要做的事情:实时的实例分割。方法,就是利用snake algorithm
,但是这里结合深度学习,进而表述为Deep snake
overview
本文使用基于轮廓(contour-based
)的deep snake
方法,其中,论文提出自己的做法(Innovation
)circlular convolution
来更好取捕捉contour信息。将整个方法步骤分为2个阶段: initial contour proposal
和contour deformation
最终论文的结果:可以在Cityscapes
, Kins
and Sbdatasets
上获得了最好的成绩,且real-time(32.3fps, 512x512 images on 1080Ti GPU)。
Related work
现在有许多的pixel-wise分割方法,同样也有另一种形状表达:object contour
- 轮廓表达:这个方法用在实例分割上也有很长一段历史了,可追溯到1988年Kass的论文Snakes。
整体思想
:给定一个初始的轮廓,之后利用snakes algorithm来迭代的调整轮廓到物体的边界,这个迭代优化的过程就是不断优化一个energy functional
,能量函数指的是轮廓能量
和图能量
的总和(一般只能达到局部最优) - 近来也有利用contour去表达目标的实时分割方法,但是效果同pixel-wise仍有和的那差距。
- CVPR2019的一篇论文Fast interactive object annotation with curve-gcn,论文也使用了
Snake algorithm
向object boundary调整初始contour(将contour视为graph,并且使用graph convolutional network去预测offset)。做到的结果就已经很好了,且很快。所以本文算是对Snakes: Active contour models、Fast ineractive object annotation with curve-gcn的上层工作啦。大致步骤如下:
Detail
-
Learning-based snake algorithm
- 对于
Deep snake
,给定contour
作为输入,contour
的表达则用N个顶点(vertices) { X i ∣ i = 0 , 1 , 2 , . . . N }
- 对于