语义分割未来发展如何？

最新推荐文章于 2024-06-20 09:30:48 发布

我爱计算机视觉

最新推荐文章于 2024-06-20 09:30:48 发布

阅读量1.6k

点赞数 1

本文源自知乎作者立夏之光，已获作者授权转载，请勿二次转载

链接：https://www.zhihu.com/question/390783647/answer/1223902660

语义分割目前遇到了很大的瓶颈

首先是研究方式的受限。目前的研究方案，大都构建在Dilated FCN[1]之上。在这一设定下，研究者在做的都是戴着镣铐跳舞。既往的研究，能做的无非如下两种选择设计一个更有效的语义分割head；

修改feature flow，现在多用NAS形式。

其次是数据集的受限。语义分割所用的数据集需要大量标注的数据，这造成了如下两个现象：

少有的几个数据集刷到接近天花板。
数据量少，支撑不起 training from scratch。

现象1直接导致了近些年的工作显得“没有突破”。做过语义分割的人，肯定知道提升0.5 mIoU是怎样一种难度。这是诸多研究者们现在遇到的最大难点。

现象2则是上述“研究方式的受限”的原因。除了 @张航等大组，一般人训练不起ImageNet，所以无法 from scratch 地训练完整的网络，于是只能在head上做功夫。

最后是领域内卷。语义分割的pipeline比较简洁，适合快速入手和尝试idea。刚入手时看过一系列文章，很容易产生“这还不容易”的错觉。于是会有一些眼高手低的现象，但仍然不缺乏一批能沉下心的能手不断刷新榜单。

于是，三座大山之下，目前领域的发展便出现了 @点点点回答中所说的同质化，令审稿人一脸懵逼。不得不说，领域确实需要新的破局点，而非蜂拥追热。

近些年的文章，也并非没有价值

三座大山之下，仍是不断有引人思考的文章出现。

远有ASPP[2]和Dilated FCN[1] ，它们定义了dilated conv这一操作，而今已是深度学习的入门基础。能成为人人皆知的基础知识，可见之影响力。
近有 @Yanwei Li的Dynamic routing，打破了上述“研究方式的受限”，让人意识到还有比NAS更灵活的存在。
而一系列对注意力机制的不断思考与探索[3]，也让人见识到：注意力不止是注意力。

一个领域不一定要惊天动地才有价值，稳扎稳打的推进亦让人受益匪浅。

而领域内卷，反而一定程度上提升了领域的bar。

君不见，NL(nonlocal) based文章别处风生水起，而本领域却被连环拒稿。
君不见，seg领域arxiv层出不穷，但只有个中精妙且幸运者，才能中的广传。

许多语义分割的文章，目标不止本领域。

很多人搞语义分割，是因为它是一个优良的representation learning的试兵厂。其简洁的pipeline，方便轻松地进行新模块的探索。

举自己的EMANet[4]为例，其作为一种general的模块，本人对它的期望不只是分割领域。倘若资源充足，本人何尝不想学习ResNest，直接做成backbone。而很多人眼中它就是个注意力，而我更看中他的低秩性质。我们后续的工作也在继续挖掘这一性质，而彻底告别注意力的外壳。

一些方法论则看似弱鸡，实则并不浅薄。

这里援引下高赞回答[5]的第五条：DNN太枯燥，融入点传统视觉的方法搞成end-to-end训练“融入”一词轻描淡写，但个中奥妙却被掩藏。

深度学习时代，人们忽视了太多经典的基础。很多过去早已研究透彻的东西，被重新发明一套名词。与之相比，正确的价值观，应该是重视前人的宝贵探索，并在这个繁杂逐利的时代将之renaissance。与其重造轮子，倒不如思考下DL的局限，而经典可以为之补足什么。

Lecun大力提倡的Differentiable programming[6],恰是这一思潮的重要武器。有经验的人会告诉你，“搞成end-to-end”从来不是一蹴而就。

这一功力，不易拿捏。

过轻则网络难以训练，过重则丧失优异性质，完全沦为标准网络。鄙人的EMANet[4]，算作这类方法里最low的范例。但是跟我讨论过的人都知道，只靠纯粹简洁E、M、R公式难以work，背后的付出多在Bases Maintenance上。

而前段时间热评的PointRend[7]，又有多少人能开脑洞从rendering迁移到seg；又有多少人能这“简陋”算法高效实现且跑出高性能？而Nonlocal[8]出现之前，又有多少人思考到了self-attention和经典非局部算子的联系？

盖大智者，能思其本质；而飘飘者，啖笑其浅薄。

遇到瓶颈，正适合高追求者入局

对强者：

领域陷入瓶颈时，正是入局变革的好时机。当总结出了种种不足，恰是对其rethink的最好时候。一个领域充斥“没啥突破”的文章时，一篇高质量的文章，定能引得众人赏识。鹤立鸡群，总比强强对抗来的容易，不是么？

领域内的研究者，何尝不希望若干破局者的到来？诸多人陷入有限资源的内卷，都希望能有新的着力点。一篇高质量文章的出炉，最差的待遇也是成百上千引用者的追逐。对于有相关领域经验，且对representation learning有深入思考的同行，语义分割是你们很好的试金石。

对小白：

全监督的语义分割确实门槛略高，需要丰富的机器资源，稳扎稳打扫平trick的耐心，还需要足够开阔的思维来衍生漂亮而实用的idea，所以鄙人也不建议盲目入坑。

但是语义分割也不止标准任务， @大大拉头@ICOZ@杨奎元-深动等回答中列出了一系列尚有挺大空间的明路，它们也是值得探索的任务。@湃森列出的（1-8）也是一些可行思路。

至于 @湃森列的积木(ABCD...)，不得不发论文来求毕业者，万不得已时，就参考下吧。。。

对所有：

道路千万条，求真第一条。造假一时爽，同门两行泪。

参考：

[1].^abYu, Fisher, Vladlen Koltun, and Thomas Funkhouser. "Dilated residual networks." Proceedings of the IEEE conference on computer vision and pattern recognition. 2017. https://arxiv.org/abs/1705.09914

[2].^Chen, Liang-Chieh, et al. "Deeplab: Semantic image segmentation with deep convolutional nets, atrous convolution, and fully connected crfs." IEEE transactions on pattern analysis and machine intelligence 40.4 (2017): 834-848. http://arxiv.org/abs/1606.00915

[3].^语义分割中的Attention和低秩重建 https://zhuanlan.zhihu.com/p/77834369

[4].^ab[ICCV 2019 Oral] 期望最大化注意力网络 EMANet 详解 https://zhuanlan.zhihu.com/p/78018142

[5].^语义分割该如何走下去？- 湃森的回答 - 知乎 http://www.zhihu.com/question/390783647/answer/1221984335

[6].^Differentiable programming-Wikipedia https://en.wikipedia.org/wiki/Differentiable_programming

[7].^Kirillov, Alexander, et al. "PointRend: Image Segmentation as Rendering." arXiv preprint arXiv:1912.08193 (2019). http://xxx.itp.ac.cn/pdf/1912.08193v2

[8].^Wang, Xiaolong, et al. "Non-local neural networks." Proceedings of the IEEE conference on computer vision and pattern recognition. 2018. https://arxiv.org/abs/1711.07971

END