E2EC: An End-to-End Contour-based Method for High-Quality High-Speed Instance Segmentation

摘要

1. 不同于先前的contour-based方案，手动构造初始轮廓，E2EC方案采用可学习的轮廓初始化方案，解决人工初始轮廓可能和真实轮廓之间交织过多，导致学习和推理困难的问题。

2. 采用global contour deformation, 其实就是MLP，更好的利用上所有顶点的特征。

3. 提出了label sampling scheme, 叫做multi-direction alignment, 可以降低学习难度。

4. 为了改善边缘细节的质量，对pred和gt顶点做动态匹配（之前基于轮廓的方案，都是按顺序匹配），这样的动态匹配损失，可以学习的更好。nvidia A6000上512x512的输入，能跑到36fps，感觉速度上和之前的方案差不多。。

Learnable contour initialization architecture

initial contour

思路很简洁，就是用中心点的特征，回归出初始轮廓上的所有顶点，相对中心点的偏置。进而计算得到初始轮廓上每个点的坐标。

Global deformation

所有顶点的特征 + 中心点特征，特征维度为$(N+1)\times C$。输入到MLP模块中，得到$N\times 2$偏置输出。

Multi-direction alignment

Dynamic matching loss