ICLR 2023投稿量暴涨46%！GNN依旧热门，Mask后来居上

作者 | Houye  编辑 | 汽车人

原文链接：https://zhuanlan.zhihu.com/p/571672270

点击下方卡片，关注“自动驾驶之心”公众号

ADAS巨卷干货，即可获取

点击进入→自动驾驶之心技术交流群

后台回复【ECCV2022】获取ECCV2022所有自动驾驶方向论文！

国庆期间闲得无聊勤勤恳恳地做了一次ICLR2023 Openreview的论文投稿分析，从OpenReview 网页抓取了论文数据，并做了2022和2023年论文关键词、标题高频词等信息的可视化比较。

1 ICLR 2023 会议介绍

ICLR，全称为「International Conference on Learning Representations」（国际学习表征会议），由深度学习三大巨头之二的 Yoshua Bengio 和 Yann LeCun 牵头创办于2013年，被认为是深度学习的顶级会议，素有「无冕之王」之称。

2 ICLR 2023 论文提交情况分析

ICLR采用了Open Review的评审机制，这意味着所有提交的稿件都会公开信息，并且接受所有同行的评价及提问，同时任何学者都可以匿名或实名地对论文进行评价。今年ICLR一共收到了4966篇论文，相比于去年3407的投稿量暴涨了46%。今年主题仍然涉及图神经网络，强化学习，计算机视觉等热点领域。

关键词频率

以下条形图列举了提交论文中出现频率排名前 50 的关键词，排名靠前的依旧是强化学习，深度学习，表征学习以及图神经网络等。两年的投稿趋势变化不大。

2022和2023年论文投稿关键词频率比较

关键词频率排名变化

根据前十的关键词频率排名频率来看，基本上和去年保持一致，大火的领域依旧大火。但是可以明显看到前五名关键词的频率差距逐渐减少。有意思的是representation learning这一关键词终于又重回前三，再次为「国际学习表征会议」（ICLR）正名。graph neural network这一关键词则是掉了一名，与representation learning交换了位置，但相比于去年的频率仍然火爆。

关键词频率排名变化Top-10

接着，在Top-50的关键词频率中，统计排名变化程度最大的10个关键词如下：

可以发现，排名暴涨的是large language model和diffusion一词，从原本208和173挤进了前50。其中diffusion一词甚至挤进了前15，果然今年diffusion model大火也带起了新的一波研究热潮。有意思的是上一年较火的adversarial training一词暴跌28名，差点跌出前50，可能对抗训练即将淡化出历史舞台了（瞎说的）？

根据论文提交关键词，以下词云图展示了两年来各个研究领域的热门程度：

关键词频率词云图（2022年）

关键词频率词云图（2023年）

标题频率

看完关键词频率，接下来从标题词语出现的频率来观察今年的论文提交情况。由于标题可能含有较多的停用词等，因此提前作了预处理，并且排除掉了一些意义不大的词语，最终展现的结果如下所示：

2022和2023年论文投稿标题关键词频率比较

从标题频率来看，两年内的趋势变化不大。

标题关键词频率排名变化

从排名变化上来看，尽管graph neural network在关键词频率排名降低了一名，但是在标题中graph却涨了一名——说明大家对图数据的研究已经不局限于图神经网络了？

标题关键词频率排名变化Top-10

同样地，在Top-50的标题关键词频率中，统计排名变化程度最大的10个标题关键词如下：

果然最火的还是diffusion模型，以及Kaiming He带起的mask相关的研究。尤其是是mask一词，从原本325暴涨至45。

同样，根据标题频率绘制的词云图如下：

标题频率词云图（2022年）

标题频率词云图（2023年）

最后，大胆预测下今年的热点研究话题是（排名不分先后）：

• diffusion model

• masked autoencoders

• graph neural networks

• offline reinforcement Learning

• transformer

• federate learning

GitHub项目地址：https://github.com/EdisonLeeeee

【自动驾驶之心】全栈技术交流群

自动驾驶之心是首个自动驾驶开发者社区，聚焦目标检测、语义分割、全景分割、实例分割、关键点检测、车道线、目标跟踪、3D目标检测、多传感器融合、SLAM、光流估计、轨迹预测、高精地图、规划控制、AI模型部署落地等方向；

加入我们：自动驾驶之心技术交流群汇总！

自动驾驶之心【知识星球】

想要了解更多自动驾驶感知（分类、检测、分割、关键点、车道线、3D目标检测、多传感器融合、目标跟踪、光流估计、轨迹预测）、自动驾驶定位建图（SLAM、高精地图）、自动驾驶规划控制、领域技术方案、AI模型部署落地实战、行业动态、岗位发布，欢迎扫描下方二维码，加入自动驾驶之心知识星球（三天内无条件退款），日常分享论文+代码，这里汇聚行业和学术界大佬，前沿技术方向尽在掌握中，期待交流！