编者按
近期在INFORMS开放论坛上出现了一则有关顶刊发表模式的讨论帖,来自各个顶尖高校的学者和期刊审稿人对目前INFORMS顶刊的发表模式是否阻碍了我们领域的发展与生存展开了深入的讨论。本文摘录了这则讨论帖当中的部分内容以供参考,也欢迎大家参与讨论。
Barry Nelson (西北大学):
在六月的INFORMS仿真学会研讨会上,我参加了一个小组讨论,主题包括我们领域出版的未来。我的立场比较极端,认为我们当前的出版模式正在威胁我们领域的存在。
首先,我想提到两篇在我研究生时期发表在Operations Research上的极具影响力的论文:Schmeiser (1982) 的《Batch Size Effects on the Analysis of Simulation Output》和 Schruben (1983) 的《Confidence Interval Estimation Using Standardized Time Series》。Schmeiser的论文长14页(当时的小尺寸版面),既没有定理也没有实验结果,却彻底改变了我们对一个长期存在的问题的思考方式。Schruben的论文长19页,正文中包含了所有证明,并发明了一种至今仍在使用的新方法。
为什么这些论文能够发表?因为它们包含了伟大的想法和刚好足以支撑这个想法的分析。如果这些论文要经过现如今的审稿过程会怎样?这些想法会被淹没在一锅“附加物”中,导致只有最勤奋阅读的人才能发现这些论文。
当然,我们领域在2024年的成熟度不同于1983年,但我认为我们的出版物正在变得对任何不需要它们来获得终身教职的人都不再相关。因此,我提出以下五个主张:
-
我们应回归到想法至上的原则。
-
我们应支持并相信编辑的作用(小编:后文有说明)。
-
我们应撰写可以被审稿的论文。
-
我们需要我们的论文正确且简明,以在我们领域之外获得关注。
-
我们应只要求为确立想法价值所需的文献综述、分析和实验。
好吧,让争论开始吧 :-)
Shane G. Henderson (康奈尔大学):
我同意Barry的观点,并想补充三个想法:
-
他说“我们应支持并相信编辑的作用”。我认为他主要指的是副编辑(AE)和更高层次的编辑角色。部分AE的工作是在审稿报告和AE自身对论文的看法的基础上,划定修订时需要做出的更改。这个列表不应该是审稿报告中提到的所有问题的合集;我们作为审稿人,似乎总是会提出无穷无尽的附加建议,而这些建议对于我们,作为提交作者,价值甚微!AE和更高级的编辑需要采取行动反对这种趋势,以避免我称之为“审稿膨胀(referee bloat)”的现象,来回应Barry的担忧。就这一点而言,我非常钦佩Chris Tang在担任MSOM主编时发起的倡议,这在MSOM和其他期刊中仍保持着一定的势头。
-
我们都抱怨“审稿人”。但我们就是审稿人!让我们尝试去提供我们希望收到的审稿报告,而不是一份反映了我们自己在投稿过程中的痛苦经历的报告。反映我们自己的创伤,即使是无意识的,也只会导致恶性循环!
-
在当前的平衡状态下,可能很难避免“防御性写作(Defensive Writing)”(我从David Simchi-Levi那里听说到的这个词,用来描述写作时预见并试图阻止审稿人担忧的行为),但出于Barry所提出的理由,值得一试。
对于那些赞同Barry观点的审稿人和编辑,谢谢你们!对于那些不赞同或尚未考虑这个问题的人,请思考一下吧!
Lisa Yeo (加州大学默塞德分校):
完全同意Shane的所有观点,尤其是第一个。当副编辑仅仅说出相当于“审稿人有顾虑,我也同意。祝你修订顺利”,而不对其重要性提供指导意见或者解决审稿人相互矛盾的意见时,我感到非常沮丧。唉。
如果想法是好的,需要改进,也许需要更多的分析,那很好。但请记住,期刊发表文章是我们在学术界进行持久对话的方式——没有一篇论文需要完美地解决所研究现象的所有细节。
Bruce Hartman (圣弗朗西斯大学):
我同意Barry和Shane的观点。我对当今文章中无休止的文献综述感到非常不满。仅仅因为你查阅了某些资料,并不意味着你必须将其写进论文中。只有那些与你主题直接相关的文章才应该被包括和总结。这可能是三四篇或五篇文章,除非提交的文章范围非常广。
我还同意关于附录中无休止的证明,有些证明甚至是琐碎的。精炼你的证明可能在写作上需要更长时间,但当读者必须查看附录来验证时,会破坏阅读的流畅性。
Shane,谢谢你提供的Chris Tang文章的链接。限制审稿人评论的重点非常有帮助。我读过太多作者的“回应审稿人”信,其中都详细地列出了作者觉得必须回应的每一个即使是非常小的点。
如果审稿人认真思考主题,不提出明显错误但需要反驳的评论,这也很有帮助。对新的ideas更开放也对我们这个领域非常有用,因为我们经常只是在不断地精炼和完善早期的一些good ideas,而不是发表真正的new ideas。我的导师Moshe Dror,愿他安息,经常对“epsilon”论文感到愤怒,这些论文仅对一个话题有极小的贡献。
Xiaocheng Li (帝国理工大学):
感谢提出这个话题以及富有洞见的评论。作为我们领域的一名年轻研究人员,我也同意这些观点。
我想分享两个在审稿时想到的想法(抱歉,如果这有点偏离这里讨论的主要主题):
1. 我们是否可以引入一个信心评分系统来表明我们对审稿报告的信心? 作为审稿人,我们通常对在审的不同论文的信心水平不同,这取决于我们对这些论文主题的熟悉程度和在审稿上花费的时间。
2. 我们能否以匿名方式公开所有的审稿(这可能取决于审稿人的意愿)? 许多计算机科学会议在Openreview(https://openreview.net/)这样的平台上采用了这种做法。审稿中的批评可以为读者提供指导,特别是为我们社区的研究生和年轻研究人员提供更好地了解如何进行优秀研究和撰写优秀论文的思路。再者,这种类型的Openreview平台还允许普通观众(不是论文的作者或审稿人)匿名评论论文;这可以促进对论文的讨论和思想交流。
这可能不是一个可以简单推行的改变,即使从提交系统的技术方面来看,但是我很希望在不久的将来看到这些变化。
John Milne (克拉克森大学):
Barry、Shane和Bruce提出的观点非常好!
从大局来看,我们的学术出版模式大多建立在前数字时代,当时印刷和分发纸质文章的成本很高。如果我们从头开始为数字世界设计一个学术出版模式,它会是什么样子?也许会像这样...
作者可以发表任何他们想发表的内容。与其由少数审稿人来审查,所有人都可以访问这些工作。评论和改进建议可以来自任何人和任何地方。最终,最好的工作会被认可、广泛尊重并产生影响。人工智能可以帮助美化作者的原始论文。
这些只是一些关于这种模式可能如何运作的初步想法。主要的观点是颠覆传统的学术出版模式。与其等待审稿人迟迟不到的报告,不如即时发表工作。让审稿/反馈/改进在工作可见之后进行。正如Barry所指出的,像Schruben (1983)那样的重要概念在被层层审稿意见掩埋之前就已经对世界产生了影响。
Barry Nelson (西北大学):
谢谢你,Shane,准确表达了我关于支持和相信编辑的观点。
我觉得John的见解十分中肯,与之有些相关的是,系统中曾经存在许多摩擦,这些摩擦减缓了论文的生成和提交,减少了审稿轮次,并且排斥长论文:他们需要实际生产和处理纸质论文,并且这些论文最终必须完全符合期刊的印刷页面限制。没有人希望重新引入这些摩擦,但消除它们所带来的意外后果正是我们目前所处状况的一个原因。
我对所有种类的系统调整都持开放态度,但如果没有彻底的重新思考,我认为我们会失去影响力以及年轻的学者们。
Alan King (IBM):
我并不完全同意这个讨论中的观点。作为副编辑、审稿人和作者,我认为我们的行为在出版压力和向深度专业化趋势的驱动下是完全合理的。正如这次讨论中提到的,最大的导致摩擦的因素是出版审稿。一个人不可能了解所有相关的论文,但这似乎是大家的期望。
也许我们可以考虑技术创新如何提供帮助。许多领域现在默认在线快速出版,并且有很多发布平台:Arxiv、Optimization Online、SSRN等。大型语言模型正以惊人的速度改进。它们是否可以提供帮助?
如果每篇投稿都立即在线发布在支持评论的平台上会怎么样?如果每篇这样的发布都自动生成贡献摘要和可能相关出版物的链接会怎么样?如果每条评论都能自动处理以检测其相关性和质量会怎么样?
这会取代学术审查或威胁出版商的商业模式吗?我认为不会。编辑委员会可以拒稿那些引用了在线资源的论文。
Thiago Serra (爱荷华大学):
我同意以上所有的观点,而且非常高兴能看到这种讨论正在得到大家的关注。我们的现状确实是出于我们每一个个体的理性行为,这让我在思考,我们是否可以改变这背后的机制,将交流和新ideas的发展放在首位。
就如Xiaocheng所言,我在CS的一些会议中看到了一些值得我们参考的有趣的idea:
1. 对顶级审稿人和副编辑的奖励:根据AE和编辑的反馈每年选取前10%审稿人给予奖励,就像ICML在做的那样。
2. 严格的页数限制:一个严格的页数限制可以促使作者更加简洁,或者至少在正文中专注于最主要的idea,而将较不重要的细节放入附录中。长此以往,这会带来有趣的全新的论文模式,比如一篇仅包含最相关的定理以及如何证明这些结果的简要思路的论文。
3. 信心评分系统:这确实是一个有用的指引,因为审稿人们可以自我审视他们对在审论文主题的熟悉程度,而据此编辑也可以决定ta要更多的参考哪个审稿人的意见。值得参考的是,在CS领域的审稿周期中通常会有一个讨论阶段,在这段时间内编辑会要求所有审稿人对这篇论文达成一致意见。我很好奇我们是否可以在AE做决定之前,自动在审稿人中共享彼此的审稿意见,并给予审稿人们一周的时间去选择性地互相评价彼此的审稿意见。
作为一名新的AE,我会把以上所有的观点考虑进去并批判性地参考审稿人们的意见。感谢所有参与讨论的人的意见。