pointrend

文章在解决什么问题：
“分割mask不够精细”与“计算资源有限”之间的矛盾

出发点：
分割mask不够精细的情况，大部分出现在物体边缘
这一点之前有paper统计过：
Not All Pixels Are Equal: Difficulty-Aware Semantic Segmentation via Deep Layer Cascade

具体怎么做：
三步：选点 – 提特征 – MLP

测试的时候 – 迭代选点
每次把mask上采样两倍(插值)，选topN最不确定的点，找这些点对应的fine-gained(low level)(插值)和coarse(high level)特征，拼接在一起，过mlp，用mlp的结果更改这topN个点的分割预测(mask) – 进行下一次迭代，直至mask大小与原图大小相等

训练的时候 – 随机选点 (为什么不迭代？ – 迭代对BP不友好)
随机选N个点(和测试时的N可以不同): 先随机选kN(k>1)个点，再从中选bN(0<b<1)个最不确定的点，再随机选(1-b)N个点 – 然后提特征(粗粒度和细粒度的拼接)、训mlp (mlp只有一个，权重共享)

为啥提特征的时候要把细粒度和粗粒度的特征拼接在一起？
细粒度特征：从backbone中间层的feature map(s)插值
粗粒度特征：从mask上插值
对instance seg, 可能会有两个instance的bbox有重叠的情况，对重叠部分的点，细粒度特征不包括区分region的信息，所以需要粗粒度的特征
细粒度是low-level, 补充上high-level更好

实验结果：
能提升1~2点的mask AP
backbone越强、标注越好 – 涨点越多

和渲染有啥关系？
其实没啥关系，渲染也是在解决边缘的问题

ref
https://blog.csdn.net/weixin_42028608/article/details/105379233?ops_request_misc=&request_id=&biz_id=102&utm_medium=distribute.pc_search_result.none-task-blog-2_blogsobaiduweb~default-1

https://zhuanlan.zhihu.com/p/98351269