pointrend

文章在解决什么问题:
“分割mask不够精细”与“计算资源有限”之间的矛盾

出发点:
分割mask不够精细的情况,大部分出现在物体边缘
这一点之前有paper统计过:
Not All Pixels Are Equal: Difficulty-Aware Semantic Segmentation via Deep Layer Cascade

具体怎么做:
三步:选点 – 提特征 – MLP

测试的时候 – 迭代选点
每次把mask上采样两倍(插值),选topN最不确定的点,找这些点对应的fine-gained(low level)(插值)和coarse(high level)特征,拼接在一起,过mlp,用mlp的结果更改这topN个点的分割预测(mask) – 进行下一次迭代,直至mask大小与原图大小相等

训练的时候 – 随机选点 (为什么不迭代? – 迭代对BP不友好)
随机选N个点(和测试时的N可以不同): 先随机选kN(k>1)个点,再从中选bN(0<b<1)个最不确定的点,再随机选(1-b)N个点 – 然后提特征(粗粒度和细粒度的拼接)、训mlp (mlp只有一个,权重共享)

为啥提特征的时候要把细粒度和粗粒度的特征拼接在一起?
细粒度特征:从backbone中间层的feature map(s)插值
粗粒度特征:从mask上插值
对instance seg, 可能会有两个instance的bbox有重叠的情况,对重叠部分的点,细粒度特征不包括区分region的信息,所以需要粗粒度的特征
细粒度是low-level, 补充上high-level更好

实验结果:
能提升1~2点的mask AP
backbone越强、标注越好 – 涨点越多

和渲染有啥关系?
其实没啥关系,渲染也是在解决边缘的问题

ref
https://blog.csdn.net/weixin_42028608/article/details/105379233?ops_request_misc=&request_id=&biz_id=102&utm_medium=distribute.pc_search_result.none-task-blog-2blogsobaiduweb~default-1

https://zhuanlan.zhihu.com/p/98351269

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值