科学研究中的新颖性——给审稿人的指导

原文链接： https://perceiving-systems.blog/en/news/novelty-in-science

---

本文翻译自Michael J. Black在2022年1月30日的博客，关于我们如何判断一篇文章的novelty的见解。

---

科学研究中的新颖性（novelty）：给审稿人的指导

关于如何使得一篇文章被CVPR这种顶级会议接收，审稿人们总是有着不同的强烈的意见。他们知道向这些论文投稿是困难的但也是能给他们带来声望的。所以他们认为这些被接受的论文一定要是足够特殊的。这很对，但是我们如何定义这个“特殊”？一个审稿人们公认的关注点是新颖性（novelty）。但是科学上的新颖性到底是什么？

我看到审稿人们总是错误地将复杂性（complexity），任务难度（difficulty）和技术难度（technicality）这几个概念和新颖性（novelty）混淆。在科学审稿中，新颖性似乎是要隐含着这些事情。为了让科学更好的发展，其实在审稿建议中，我们或许最好去用美感（beauty）去替换掉新颖性这种词。

美感消除了“技术”和“复杂”的概念，更接近我们定义科学的复杂度的核心。一幅画不会因为说绘画这个画作很简单，不需要很复杂的技艺就不美了。论文其实也是一样。毕加索画出来的简单勾勒完全可以和伦勃朗的错综复杂的画作一样美丽。

时刻带着欣赏艺术的角度来看论文，让我们来看看审稿人们一些常见的对与新颖性的误解：

新颖的要是复杂的？（Novelty as complexity）

我们的方法（idea）的简单性（simplicity）经常被误认为缺乏新颖度，即使有些时候事实恰恰相反。一个我们常见到的审稿人给出的意见是：

这个idea太简单了。他只是把损失函数的其中一项改变了，其他的都和之前的工作一样，我看不到什么noverlty在里面。

如果没有任何人想到去改变这个损失项，那么有人修改了那就是“事实上的”新颖。他所提供的创造性的见解是让人们认识到一个小的变化可能会产生很大的影响，并潜移默化地催生下一批研究来发现和制定新的损失。

这种审稿会逐渐地使得我的学生倾向于把一个方法包装的尽量的复杂，进而使得审稿人们觉得这个方法具有价值。但是在我眼里面，相比于没有必要的复杂度，我更加珍视简单性；越简单越好。以构建神经网络为例，拿过来一个现有的工作，换掉其中一部分，相比于整个创造一个全新的、看起来更加复杂的网络其实是更好的。

新颖的要是难做的？（Novelty as difficulty）

论文中顶会很难，所以说审稿人们总是觉得提出的方法和具体实现一定要是有门槛的、有难度的。作者们一定要去流血流汗流泪去让这个文章“值得”。没有经验的审稿人尤其喜欢看到作者要真正的努力工作付出点什么，他们才愿意给出一个好的评价。

制定一个简单的想法意味着去除不必要的东西，进而揭示事物的核心。这也是科学家可以做的，对人类发展最有意义的事情之一。

一个简单的方法完全可以是非常重要的，但是这个方法也可能是琐碎无用的。这一点也正是很多审稿人自己也搞不太清楚的一点。如果一篇论文用一个简单的方法就超过了先进的水平，那么这个方法大概率很有意义。在这个领域耕耘的其他作者也会受到强烈的启发，整个领域也会非常的感兴趣。

新颖的要是给人惊喜的？（Novelty as surprise）

新颖性和惊喜（surprise）总是紧密地相关在一起。一个新颖的方法在定义上要是一个给人惊喜的方法，这代表着这个方法一定要是别人没有想过的。但是感性地去用惊喜来评判新颖性其实也是有问题的，因为，惊喜本质上是一种转瞬既逝的人类感觉。如果你听到了一个非常棒的观点或者方法，那么一定会有那么一瞬间的惊喜感，但是很快，你就会感觉这个观点其实也很显然（obvious）。一个常见的审稿意见是：

这个方法很显然，因为作者只是简单地将两个大家都知道的方法结合到了一起。

显然（obvious）这个词是新颖这个词的反义词。所以，如果一个观点在听完之后开始显得“显然”了起来，那么审稿人很容易很快地假设新颖性不够。

但是其实，新颖性一定要在想法出现之前就评估。我们去衡量创造性的新颖性是要把这个想法放在首位，审视这个想法本身。如果他很容易就能被解释通而且事后看起来很明显，那么绝对不能去削弱这个想法的创造力和新颖性。

新颖的要是有技术难度的？（Novelty as technical novelty）

对于审稿人，最最常见的概念混淆就是把新颖度和技术实现的难度混淆在一起。新颖度（价值）在论文中的体现是多方面的。一个新的数据集如果做了一些其他数据集没有做的事情就可以是新颖的，即便说用来生成这个数据集的所有的方法都已经被大家所熟知了。一个旧方法的新使用只要没有人这么做过那就是新颖的。将复杂的方法替换成为新的方法给大家带来很多启发。

新颖性以很多方式展现，就像这世界上的美丽一样。在批评一篇论文缺乏技术新颖性之前，问问自己真正的新颖性是否在其他地方。

新颖的要是有用的或者有价值的？（Novelty as usefulness or value）

不是所有的新颖的方法都是有用的。新的属性不代表着价值。我们想要让新的观点，新的思考带我们去到一些新的地方。在这里审稿人尤其需要注意，知道这个新的方法到底能够在哪个领域被使用到是一个非常非常难的事情，我们很难根据我们现在所有的知识去对将来进行一次预测。

经常的一个审稿意见是：

作者介绍了一个新的方法但是我并不知道为什么人们需要。

缺乏使用场景确实是个问题，但是我们很难据此对一个方法的新颖性作出评估。审稿人们应该在从这个角度出发的时候慎之又慎因为我们的想象力其实都是有限的。

个人感悟

我的早期生涯基本上都是在追踪和规范化两个已经被建立好的领域，鲁棒统计（robust statistics）和马尔可夫随机场（Markov random fields），之间的联系。我的研究的新颖性来源于一个事实是，并没有人将这两个领域放在一起研究过，进而这个领域就变成了一片肥沃的土壤供我发现这两个领域之间很多神奇的连接，最终导向到一个新的理论上。幸运的是，这些连接逐渐显现出了价值，最终使得基于这套理论的实用性的方法达到了业界先进水平。

事后一想，这两个领域之间的连接和最后我们把他和计算机视觉联系到一起看起来也挺显然的。在今天，在计算机视觉中使用鲁棒性估计方法就像呼吸一样自然。但是第一次意识到看到这其中的联系，在其他人之前就看到这之间的联系，仿佛就像人类第一次学会呼吸。

在生命中，其实没有什么比你意识到你在突然之间瞥见，一种像火花一样的，但却可以改变你对世界的看法的事物，那种能更令人感到惊喜的事情。在那一刻，你仿佛是所有人类中第一个站在高山之巅上的人，在那一段时间以一种人类从来没有过的角度看待这个世界。这就是新颖，这就是novelty，这发生在我们生命中的某个瞬间却由我们生命的所有过往的经验与因果所促成。

由此，我们产生论文，将想法转化为代码、实验和文本，将其整理，阐述，传播。在这个转化之后，当论文呈现在审稿人面前乃至大众面前，火花之美或许只能隐约瞥见。我希望每一个审稿人都能够去尝试想象火花之前的那片黑暗。

---

参考资料：
https://perceiving-systems.blog/en/news/novelty-in-science
https://zhuanlan.zhihu.com/p/463454293
https://www.bilibili.com/video/BV1ea41127Bq/