天大本科生论文入选CVPR 2022，实现深度学习长尾分类新SOTA

点击上方“视学算法”，选择加"星标"或“置顶”

重磅干货，第一时间送达

丰色 发自 凹非寺
量子位 | 公众号 QbitAI

本科生搞科研到底能做出什么成绩？

最新被CVPR 2022收录的一篇论文中，提供了一种新思路来解决深度学习中长尾分布数据的分类问题，最终实现了新SOTA。

文章一共5位作者，有博士生，也有来自新加坡A*STAR的高级研究员……

而排在一作位置的，是一位来自天津大学的本科生——李同学。

厉害的是，这还不是这位“初生牛犊”的第一篇顶会论文，在此之前，他还中了一篇数据挖掘领域的顶会（WWW 2022），同样是一作。

本科生搞科研，势头已经这么强了吗？

大三进实验室，大四就有2篇顶会在手

李同学来自天津大学智能与计算学部，今年大四。

这篇CVPR文章，主要就是以新型集成（ensembling）学习策略来解决长尾分类的问题。

长尾分布大家都知道，对于这些数据的分类则是深度学习中十分常见的一个应用。

它的难点主要是样本量极端不平衡，尤其尾部样本量过少，难以获得有效的训练结果。

目前，基于集成学习的方法显示出巨大潜力，实现了SOTA性能。

但这种方法有两个局限性：

一是在failure-sensitive应用中的预测通常不可信，这对极容易出错的尾部数据的影响非常大；

二是它会为所有样本分配统一数量的资源（experts），这对于简单样本来说，造成了多余、过高的计算成本。

因此，李同学等人提出，通过引入不确定性集成，来实现对尾部类别样本的自动感知。

在此基础上，提出为尾部类别样本动态分配比头部样本更多的模型资源（experts），以兼顾性能与效率。

△ 测试阶段使用哈佛提出的DS理论形成joint uncertainty

最终，所得模型实现了对尾部类别样本的自动化检测与训练调节，成为一个解决长尾分类问题的通用模型。

一系列分类、尾部检测、离群点检测和故障预测等任务的综合实验证明，该模型的性能成功打败现有的SOTA方法。

今年6月，李同学即将本科毕业，然后将直接以博士生的身份进入普渡大学学习，师从张教授。

张教授刚刚从康奈尔大学统计学博士毕业，在普渡大学担任助理教授，她的研究方向为机器学习和数据科学中概率模型的构建。

他是在大三的时候，凭着优秀的学习成绩进入了学部的机器学习与数据挖掘实验室。

在导师张长青（天津大学博导）的带领下，李同学经过短短一年半的学习，就中标了两篇顶会论文。

可以说后生可畏。

越来越多的本科生开始发顶会

不过要说起本科生搞科研，其实大家应该有所注意，很多学校对于这件事越来越开放和重视：

在大三或者更低年级时，就会开放一些名额让有潜力的学生进入实验室，和研究生、博士生一起搞科研。

比如清华“星火班”就招募大二学生，北大也鼓励学生从大二就开始开展科研项目，而像中科大等学校，对做出相应成绩的本科生还会给予专门的奖学金。

在这样的情况下，已经有不少像李同学这样的学生，在本科期间就发表上顶会了，可谓光环满身。

比如我们熟悉的清华特奖得主、2016级本科生高天宇，大学四年期间就有四篇顶会在手：两篇AAAI、两篇EMNLP，还开过一个直播，专门传授起自己的科研经验。

比如MIT本科生毛啸，大四中标计算机理论顶会FOCS 2021，并摘得最佳学生论文奖。

再比如清华电子系本科生刘泓，3篇一作顶会；北大本科生吴克文不仅发顶会（ACM计算理论年会STOC），还拿下最佳论文奖；以及电子科大本科生王谭也有1篇一作CVPR 2020、浙大本科生任意同样1篇一作ICML 2019……

类似的例子非常多。

可以说，本科生搞科研是越来越厉害了，大家觉得呢？

论文地址：
https://arxiv.org/abs/2111.09030

参考链接：
http://cic.tju.edu.cn/info/1040/3704.htm

— 完 —

点个在看 paper不断！