ICLR 2020被爆半数审稿人无相关领域经验,同行评审制度在垮塌?

640?wx_fmt=png

作者 | 若名
出品 | AI科技大本营(ID:rgznai100)

根据维基百科,同行评议(peer review),是指由一个或多个具有与作品生产者具有相似能力的人员(同行)对作品进行的评估活动。同行评审方法用于维持质量标准以及提供信誉背书。在学术界,学术同行评审通常用于确定学术论文是否适合发表。
 
计算机领域的顶尖会议评选论文前,一般都有同行评议人员进行评分筛选。不过,随着顶会论文的数量不断增多,同行评议制度的弊端也在显现。
 
截止 9 月 25 日,ICLR 2020 大会共收到近 2600 篇投稿,相比 ICLR 2019 的 1580 篇论文投稿,今年增幅约为 62.5%。
 
近日,英伟达机器学习研究负责人 Animashree Anandkumar 在推特上向 ICLR 2020 的同行评议审稿人开炮。
 
她称,每个即将到来的 AI 会议的同行评议质量都在变差。我们的 #ICLR 2020 审稿人的评分有极大的差距(8 分和 1 分),评分较低的审稿人太令人讨厌和痛心了。这就像他们在参加战斗并想要破坏竞争一样。这不健康,还有哪些替代选择吗?
       640?wx_fmt=jpeg

对同行评议抨击后,Animashree 发布了数条评论:
 
“我严重关切向那些AI 会议投稿的年轻人的情绪健康,(同行评议)对他们有巨大的影响。我们没有花足够的时间关注它(论文)。我考虑过只发表(论文)到@arXiv_Daily上,让社区决定论文是否对研究者有用。”
 
她告诫学生和向#ICLR2020投稿的作者不要在意审稿人意见,如果你相信自己的研究,就必须继续为此而奋斗,并尝试接纳具有建设性的评审建议,但不要让审稿人决定你的自我价值。
 
她对不专业的审稿人感到愤懑,并抨击了入选同行评议审稿人的标准。
 
“ICLR2020 的同行评议中对专家的自我评估是很奇怪的。无知的人声称自己是专家(通常来自特权阶层),而谦逊的人不想这样做。我看到的是AC,教授把自己的排名放在中间,而本科生却把自己排在专家的位置。”
 

学界教授声援,同行评议制度在垮塌?
 
由于每个审稿人的关注点不同,给出的分数也会不同,但顶会论文中评分差距较大的论文也并不少,面对 Animashree Anandkumar 对同行评议审稿人的控诉, 杜克大学陈怡然教授也分享了自己的投稿经历:
       640?wx_fmt=png

UC 伯克利大学教授马毅则在微博上也进行了声援:
 
“我已明确告诉我的学生,以后solid,deep的工作,post到arxiv,主要发期刊。conference方便试一次就好,中不中无关紧要。就把conference当成科研写作的基本训练,入门要求。照目前发展趋势,所有所谓顶会的文章,尤其是AI 领域,很快会被当成混饭吃的玩意儿。至少真正做学问的地方和人不会再看重。当然,也奉劝那些真想做学问的,别老想去凑什么热闹,自取其辱。”
 
随后,@南大周志华教授在微博上发了推特截图:“某高层群传来的信息,ICLR 2020竟然有47%的审稿人从来没有在本领域发表过论文2_05.png  。。。投稿量远远大于合格审稿人群所能(超负荷)承受的程度,会使得顶会逐个垮塌。。。或许最终只好回到期刊去了”
       640?wx_fmt=png

尽管同行评议制度有其缺陷,但目前来看它依然是论文评审的重要选择,关键在于如何让该制度变得不水,更具公信力?
 
有学者称,解决此问题的一种方法是对审稿人进行评分(通过论文作者、其他审稿人和区域主席),并公开这一评分数据,这将完全提高审稿人的积极性,也为区域主席提供根据情况进行审稿的工具。
       640?wx_fmt=png

Animashree Anandkumar 回应称,“我们应该要求审稿人负责。如果我们允许作者进行评分,则给分较高的审稿人将会获得更高的评分,而不是哪些给出客观评分的审稿人。那能仅限给 出 AC(accepted) 的审稿人 和其他审稿人吗? 我试图找出不道德的审稿人,但这并不容易。 ”
         640?wx_fmt=png

清华大学刘知远教授认为,open review(公开评审)机制一定程度可以纠正错误或不专业的审稿意见。
 
不过,周志华教授也指出,open review 仅当参与者都是相当级别的专家才有效,否则更容易被误导。“学术判断不能“讲平等”,一般从业者与高水平专家的见识和判断力不可同日而语,顶会能“顶”正是因为有高水平专家把关,但现在已不可能了。”
    640?wx_fmt=png

对同行评议制度,你有何见解?欢迎评论。  
 
一个彩蛋
 
值得一提的是,由于 ICLR 2020 大会今年取消了模棱两可的分数,只有reject(1), weak reject(3), weak accept(6), 和 accept(8) 这四个档,这导致今年的平均分低于往年。当然也不乏高分论文,推特网友@ankesh_anand整理了 ICLR 2020 评分最高的 11 篇论文,它们的分数全部都是 8 分:

1、BackPACK: Packing more into Backprop
https://openreview.net/pdf?id=BJlrF24twB
Code: https://toiaydcdyywlhzvlob.github.io/backpack/
 
2、FreeLB: Enhanced Adversarial Training for Language Understanding
https://openreview.net/pdf?id=HkxlcnVFwB
 
3、GenDICE: Generalized Offline Estimation of Stationary
https://openreview.net/pdf?id=Hkxvl0EtDH
 
4、A Causal View on Robustness of Neural Networks
https://openreview.net/pdf?id=HylsTT4FvB

5、A Theory of Usable Information under Computational Constraints
https://openreview.net/pdf?id=r1eBeyHFDH

6、CATER: A diagnostic dataset for Compositional Actions & TEmporal Reasoning
https://openreview.net/pdf?id=HJgzt2VKPB
 
7、Dynamics-Aware Unsupervised Skill Discovery
https://openreview.net/forum?id=HJgLZR4KvH
 
8、Depth-Width Trade-offs for ReLU Networks via Sharkovsky's Theorem
https://openreview.net/forum?id=BJe55gBtvH
 
9、Recurrent Hierarchical Topic-Guided Neural Language Models
https://openreview.net/pdf?id=Byl1W1rtvH
Code: https://drop.me/BbR8pr
 
10、On the "steerability" of generative adversarial networks
https://openreview.net/pdf?id=HylsTT4FvB
 
11、Smooth markets: A basic mechanism for organizing gradient-based learners
https://openreview.net/pdf?id=B1xMEerYvB

(*本文为AI科技大本营原创文章,转载请微信联系 1092722531


精彩推荐



2019 中国大数据技术大会(BDTC)再度来袭!豪华主席阵容及百位技术专家齐聚,15 场精选专题技术和行业论坛,超强干货+技术剖析+行业实践立体解读,深入解析热门技术在行业中的实践落地。6.6 折票限时特惠(立减1400元),学生票仅 599 元!

640?wx_fmt=png


推荐阅读

已标记关键词 清除标记
©️2020 CSDN 皮肤主题: 大白 设计师:CSDN官方博客 返回首页