当我们在读论文的时候我们在读什么？「方法论」「AI核心算法」-CSDN博客

关注：决策智能与机器学习，深耕AI脱水干货

作者：王晋东来源：王晋东不在家

转载请联系作者

顶会paper越来越多，仅最近公布出来的NeurIPS 2020就有1900篇，试问谁能看的过来？

而由于疫情原因，绝大多数会议都选择在线上召开。作者们也为大家贴心地准备了每篇paper的video，几分钟到十几分钟。

讲故事能力越来越重要

最近一段时间，听了几场顶会的talk，很明显的感觉是现在的顶会paper中讲故事的能力越来越重要了。

本来贡献不大，就是a+b/a for b模式，落到普通人手里估计也就能中个二流会议，然而讲故事高手却能让他轻松中顶会。真的不太容易区分出真正的贡献。硬核的、原创的、真正有用的研究越来越少。

而谁最会讲故事呢？当然是大组和牛组。所以说普通人发文章越来越难啦。

另外建议大家不要被talk迷惑，还是要自己先看看paper。

当然也不是说所有的talk对应的paper都不好，只是从好的talk里找到好的paper，还需要仔细鉴别。

不然你没看paper直接听，每个讲者都能让你觉得他做出了前无古人的工作，直接影响你的判断，让你对这个内卷的学术圈更加绝望。

而真实的情况是，绝大多数paper都只是前进了一小步，离解决真正的问题还差的很远。所以任何一个领域永远不可能被做完。

我的看法：除非做的是理论和新架构，否则机器学习和AI相关的方法paper，归根到底没有提出新方法，都是已有方法的应用。所以一篇paper的贡献就是围绕为什么要用这个、以及用这个到底解决没解决问题。

「没有一篇paper是完美的，想拒它总能找到一万个理由。想接受它也能找到一万个理由。」

一篇好的工作应该是什么样的？

个人浅见，一篇好的工作至少要满足以下几个条件之一：

「非常好的想法」，可能并不难，但是不告诉你你就永远想不到。经典例子是ResNet。Skip connection非常简单，但是想到加skip connection却很难。
「非常solid的工程实现和绝佳的性能。」 经典例子是Transformer和BERT。自监督和无监督预训练并不是什么新的idea，但是到了Google这帮厉害的程序员手里就可以利用大规模数据和分布式训练，硬生生搞出前无古人的性能。
「非常充分的理论证明。」 从理论角度分析一个领域的某个问题，直接给未来工作以启示。经典例子是迁移学习领域的著名理论工作Analysis of representations for domain adaptation，后续该领域所有的理论工作都会引这篇文章。
「非常solid的实验」。从实验角度分析领域的若干问题并给出相应的结论。显然在深度学习时代这种文章太重要了。经典例子是迁移学习领域2014年的文章How transferrable are features in deep neural networks。
「提出一个新问题。」 这个很好理解，但在这个paper爆炸的时代可能越来越难以鉴别到底是不是first work了。审稿人不可能看过一个领域内所有方向的paper，这时候鸡贼的投稿人就欺负审稿人没看过然后说自己是一个新问题。审稿这种paper我的原则是狠狠打死，strong reject，然后把前人的工作甩给他。
「已有问题下直接开创一个新的分支。」 这就厉害了，属于另起炉灶的工作。经典例子如MAML、GAN、Flow模型，完全是在开辟一个崭新的(灌水)方向。

如何看海量paper？

这个问题没有标准答案。事实上每个人不可能对所有的“好”paper都达到100%的召回率。我的方式也还是比较老套，就是顶会放榜后人工去筛出自己感兴趣的paper下载下来打上标签（用zotero）留着慢慢看。尽量用一句话总结出一篇paper的贡献。这时候就能很轻松地分辨出一篇paper是不是水文了：

「如果你能轻而易举地用一句话概括它的所有贡献、并且别人能看明白或者你一个月后看到笔记你就能明白，那它多半不是一个好的工作。」

「如果你自己都觉得需要多做一些笔记，那这篇paper是值得一看的。」

记录什么最重要？研究的「问题和它的motivation」。不然你很容易被写作的套路所迷惑。解决方案通常没有新的，都是已有方式的改进或直接应用。重点是它的用法、为什么要用、你觉得这么用是不是灌水、让你想你能不能想到。如果你也能轻松想到，那么多半它不是一个好的paper。

最后说一下，其实「工业界的paper相对来说“好”paper的召回率能有所保证。」 为啥，因为发paper是学校和研究所的kpi，那当然大家会拼命发呀。但是只会发paper在公司里是不可能混的好的。所以工业界提交的paper里总会有一部分真正能work的paper才能保证这群人能在公司里混的好。这个角度是不是很新奇。。。当然问题没有绝对的，我从来没说高校和研究所的paper都不好，工业界的都好，只是给大家提供这个角度供参考。