沈春华组最新论文BoxInst:只需要box标注的实例分割模型

沈春华组最新论文BoxInst:只需要box标注的实例分割模型

本文由林大佬原创，转载请注明出处，我们有来自腾讯、阿里等一线AI算法工程师组成微信交流群, 如果你想交流欢迎添加微信: jintianandmerry 拉群, 添加请备注 “交流群”

今天分享一篇来自沈春华组的最新论文: BoxInst: High-Performance Instance Segmentation with Box Annotations

先给大家看看分割效果, 这是没有使用mask标注训练出来的模型你敢信?? 之所以分享这篇paper, 是因为沈春华组太牛逼了, 今年几乎实例分割的半壁江山都是他们组的产出. 而这篇BoxInst更是非常牛逼的让你在只有box的标注下实现实例分割! 这个算法使用Resnet101的backbone可以在GTX 1080TI上跑到10fps, 就问你强不强!

tql. 稍等我先玩一把英雄联盟再继续, 最近好像更新了一个英雄澜.

好回来了. 接着更. 这篇论文的核心也是最大的一个创新点, 就是采用一种全新的训练instance的loss, 使得你可以不用mask的标注来训练实例分割.这听起来很不可思议, 作者是这么做的:

我们的核心思想就是设计了一套船新的loss来学习实例分割里面的loss,不需要修正网络模型本身,新的loss函数可以自监督的训练mask而不需要依赖于真正的mask标注. 而这一切只需要添加两个loss项, 一个是代理项, 它会最小化groundtruth的投影和预测的mask之间的误差, 另外一个项会利用颜色的差异把颜色差不多的归结为同一个instance.

作者对于这种骚操作 也感到很惊讶, 只需要box就可以预测出一个很好的mask!

不过话说回来, 这种方法对于同一个类别严重overlap的数据集真的work吗? 譬如说Cityscapes这样的, 车和车,人和人 杂糅在一起的.

最后论文也是开源了代码:

https://github.com/aim-uofa/AdelaiDet/

大家也可以看一下他们的demo video (需科学上网):

https://www.youtube.com/watch?v=NuF8NAYf5L8&ab_channel=ZhiTian

思路

这里主要分享一下他们这两个loss term到底是个啥玩意, 为什么可以这么牛逼的就实现这个效果.先来看一张图, 开局一张图,剩下的全靠编:

首先看上半部分, 这个就是box的投影, 然后和预测的mask来做loss.但我没有太看懂, 是用这个实心的矩形来和预测的mask做loss吗? 那学出来的不就是一个实心的矩形了吗?

是的,没错, 这一项loss其实就是约束好Mask的宽高, 以及对应的位置. 还有第二项term来进一步的约束. 这个第二项是做什么的呢?简单来说就是在这一个box的区域内, 把consistency差不多的像素点group到一块. 形成一个Mask.

这就有意思了, 这就意味着, 我们可以检测出box, 然后让这个loss来自监督的去学习mask.

回到我刚才说的那个concern, 对于同一个类别堆叠在一起的场景, 它是否会有问题? 我认为现在的监督式的instance segmentation 的方法如有有, 它就会有, 它没有引入新的问题但是无法解决已有的问题.

性能

其实作者是在ConsInst这个实例分割的模型上做的结果, 也就是说,模型没有变,只是改了loss,同时训练数据不再提供mask的标注. 最后的精度可以做到:

我觉得效果很不错了, 对于一个不需要Mask标注信息的自监督模型来说, 还是很有用的. 当然我们在这里去评判它的性能的时候, 别忘了作者提出的只是一个loss term, 不能抛开它嫁接的算法来谈性能, 不过至少有一点是肯定的: 我们用这个种方法,可以做到你监督学习的差不多的效果, 那还要什么自行车呢?以后直接标框就可以做实例分割了, 它难道不香吗?

最后总结一下,这篇论文确实很吸睛, 我预测它下一步要做的事情, 或许就是在一些更快的实例分割算法去做, 或者说直接基于目标检测的模型来魔改一个实力分割, 毕竟你不需要和groundtruth的mask做loss了嘛, 你省去了很多内容了呀, 譬如说mask的ROIAlign, mask的各种coefficient等等.

让我们期待这个算法的下一步发展吧! 如果你喜欢我的文章, 欢迎订阅本专栏,并点击左下方双击666, 谢谢亲们的支持!.