简单聊聊PointRend: Image Segmentation as Rendering将图像分割视作渲染问题

PointRend喜提CVPR2020的Oral，代码已经开源，非常有效率。

https://github.com/facebookresearch/detectron2/tree/master/projects/PointRend

---

刚刚Kaiming He团队又release了一篇文章，PointRend: Image Segmentation as Rendering，提出一种非常新颖的图像分割方法。受到经典计算机图形学中渲染方法的启发，分析了密集像素预测中遇到的过采样和欠采样问题，选择将图像分割看作渲染问题这个独特的视角来解决。

https://arxiv.org/pdf/1912.08193.pdf

论文还没有仔细研究，但从实验结果来看分割的细节有明显提升。

如果将论文简单地看成选point然后优化分割结果的话就会很朴素，但是作者从渲染的角度来写就让人觉得很有新意。从这一点上看，kaiming组的水平确实很高，能把论文提到更高的level。可能，这就是大神和凡人的区别之一吧。

灵魂拷问：分割边界做的更精细有意义吗？

由于文章方法是在一般的分割数据集如Cityscapes上验证的，对于自动驾驶场景来说，相对不太需要如此精细的分割，而且会带来额外的计算代价。

但是对于Photoshop里面的图片编辑功能是有重要意义的，如果能在类似于人像发丝分割等数据上验证其有效性，那么就会更好了。