E2EC: An End-to-End Contour-based Method for High-Quality High-Speed Instance Segmentation

摘要

  1. 不同于先前的contour-based方案,手动构造初始轮廓,E2EC方案采用可学习的轮廓初始化方案,解决人工初始轮廓可能和真实轮廓之间交织过多,导致学习和推理困难的问题。

  2. 采用global contour deformation, 其实就是MLP,更好的利用上所有顶点的特征。

  3. 提出了label sampling scheme, 叫做multi-direction alignment, 可以降低学习难度。

  4. 为了改善边缘细节的质量,对pred和gt顶点做动态匹配(之前基于轮廓的方案,都是按顺序匹配),这样的动态匹配损失,可以学习的更好。nvidia A6000上512x512的输入,能跑到36fps,感觉速度上和之前的方案差不多。。

Learnable contour initialization architecture

initial contour

思路很简洁,就是用中心点的特征,回归出初始轮廓上的所有顶点,相对中心点的偏置。进而计算得到初始轮廓上每个点的坐标。

Global deformation

所有顶点的特征 + 中心点特征,特征维度为 ( N + 1 ) × C (N+1) \times C (N+1)×C。输入到MLP模块中,得到 N × 2 N\times 2 N×2偏置输出。

Multi-direction alignment

Dynamic matching loss

  • 0
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值