白交 发自 凹非寺
量子位 报道 | 公众号 QbitAI
双盲评审机制真的双盲吗？
最近，Reddit上有这样一个讨论：社交媒体与arXiv是否损坏了顶会双盲的机制？
13个小时，热度超过300…
起因是一位研究人员分享了他的经历：
NeurIPS 2020会议提交截止之后，他在Twitter上看到有人分享他们的arXiv研究成果，并得到了很好的反馈。
关键是，这些人一般都是Twitter上的大V，大多都来自谷歌、Facebook等著名机构的研究人员。
一旦发出，就会一呼百应，受到大家的点赞和转发。
比如，就像这位Facebook AI研究员。
甚至还有一些机构直接下场发推——DeepMind的新研究，自监督模型BYOL刷新ImageNet记录。
而此时，这些大会的评审工作还没有完全结束。这样做不仅会给双盲评审人员巨大压力，还损坏了顶会双盲评审机制。
还没有通过同行评审就放arXiv和社交媒体上，那双盲岂不是在搞笑？
影响力or接收，哪个更重要？
先不论双盲机制是否真的双盲。
对于一个研究团队而言，每年顶会放榜，论文会被录用？录用几篇？都是他们关注的问题。
毕竟这意味着你们这个团队在领域有多大的影响力，还有利于之后的研究进行。
就像这位来自小型研究室的成员说的那样，几年前在ML和CV领域的认可度几乎为0，而被这些大会接收以后，原本毫不起眼的实验室也就有了一定的影响力。
这样来看，影响力与论文接收其实并不冲突。
但是对于一些团队而言，却有一个谁在前在后的问题，尤其是对于那些已经在领域内有一定影响力的人。
被更多人认可、讨论、运用似乎就比被一个会议接收来的更重要。
就像这位网友提到的那样：
现实情况是，社交媒体上宣传对一篇论文的成功，远比是否被会议接收更重要。
等到会议真正放榜的时候，大部分的论文已经过时不受关注了。它只是为了让你的简历更加好看。
但是对于一般的团队而言，是否要提前发布在arXiv，甚至发表在社交媒体上呢？
有的人作为一个旁观者的角度，认为自己从arXiv了解到很多棒的idea，当一篇论文还在审核的时候，就已经读过了，而最终是否会被会议录用，与我们毫无关系。
这样来看，arXiv确实能够提供了更为广泛的交流机会。
但是林子大了，什么样的论文也就有了，arXiv论文鱼龙混杂也不是一天两天的事情了。
那么对于一些没那么大影响力的团队而言，担心自己的idea被人窃取，也估计收不到那么多的关注，也就不会提前在arXiv上发表，更别说在Twitter上发表了。
同行评审也一直饱受争议
而落回会议的同行评审制，其实也一直饱受争议。最关键的原因，就在于它的不透明性。
如何审？有多少人审？这些审稿人的身份是什么？
仅仅因为少数人甚至可能只有3-4人的评审观点，就能判断这个论文的好坏？
GAN的发明人，现为苹果AI负责人Ian Goodfellow 就曾炮轰同行评审机制，认为是这一制度导致了如今AI会议论文下降。其中，「评审人质量参差不齐」是主要原因，浮夸的论文被选中，真正的好论文反而被埋没。
那么如何解决这个问题呢？
既然如此，arXiv和社交媒体会一直存在，审稿也会继续，那么该如何解决这个问题呢？
此前，就曾有过一个会议解决这个问题，KDD 、ACL就曾要求，在论文结果出炉之前不允许发表在arXiv上。
在这里，有一些网友提供了自己的建议：
arXiv可以为正在审阅的论文添加匿名模式，发布的同时不会透露其身份。
修改会议规则，取消可以通过合理方式（比如，互联网搜索）识别作者的论文的资格。
而如果在审稿途中，已经知晓了论文作者是谁，该如何做呢？
有这样一个建议：
启动一个关于论文的Reddit线程，或者问问朋友们对论文的arxiv版本有什么看法。
如果你已经在Twitter上知道了论文作者，那么为何不更进一步，利用Twitter寻找论文的缺陷—这反而还会抵消知道作者很有名的偏见。
你觉得呢？有什么更好的建议吗？欢迎与我们分享～
参考链接：
https://www.reddit.com/r/MachineLearning/comments/hbzd5o/d_on_the_public_advertising_of_neurips/
作者系网易新闻·网易号“各有态度”签约作者
— 完 —
「数据库」系列公开课开启，快来免费报名！
6月23号第二期直播，浪潮信息数据库产品线总经理--乔鑫分享「传统企业互联网下的数据平台升级」，将讲述HTAP数据库的技术原理、优化方案以及开发部署概要等技术问题，以此带给广泛关注者一些前瞻指导。
扫码报名，可加入直播交流群，还可获取系列课程直播回放、分享PPT：
量子位 QbitAI · 头条号签约作者
վ'ᴗ' ի 追踪AI技术和产品新动态
喜欢就点「在看」吧 !
扫一扫
476
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
