摘要
-
不同于先前的contour-based方案,手动构造初始轮廓,E2EC方案采用可学习的轮廓初始化方案,解决人工初始轮廓可能和真实轮廓之间交织过多,导致学习和推理困难的问题。
-
采用global contour deformation, 其实就是MLP,更好的利用上所有顶点的特征。
-
提出了label sampling scheme, 叫做multi-direction alignment, 可以降低学习难度。
-
为了改善边缘细节的质量,对pred和gt顶点做动态匹配(之前基于轮廓的方案,都是按顺序匹配),这样的动态匹配损失,可以学习的更好。nvidia A6000上512x512的输入,能跑到36fps,感觉速度上和之前的方案差不多。。
Learnable contour initialization architecture
initial contour
思路很简洁,就是用中心点的特征,回归出初始轮廓上的所有顶点,相对中心点的偏置。进而计算得到初始轮廓上每个点的坐标。
Global deformation
所有顶点的特征 + 中心点特征,特征维度为 ( N + 1 ) × C (N+1) \times C (N+1)×C。输入到MLP模块中,得到 N × 2 N\times 2 N×2偏置输出。