来源：https://www.zhihu.com/question/373707458/answer/1032847238
编辑：深度学习与计算机视觉
声明：仅做学术分享，侵删
“This year CVPR received a record number of 6656 submissions and accepted 1470 papers -- a 22% acceptance rate -- so the process was highly selective. ”
作者：铁猪头
https://www.zhihu.com/question/373707458/answer/1032224518
我个人认为summary reject是有意义的，但是这次应用过度了。
近几年来，随着领域的火热，文章也是越来越多，我甚至经常在几大牛会上审到一些民科文章，例如有一篇的概要是：因为爱因斯坦相对论和海森堡不确定性原理所以cnn应该用7*7而不是3*3的filter之类（这是我在icml审过的真实例子！），去年IJCAI我做SPC，审到的7篇文章中有5篇严重缺陷，于是我十分支持summary reject制度，也在今年的AAAI和IJCAI作为SPC实际操作了两次。
summary reject的逻辑是，如果此文进入审稿程序，则SPC需要推荐审稿人，查看审稿意见，查看作者rebuttal，带领讨论并最终撰写meta review，这所有的事情也是很花时间的，同时还浪费了reviewer和author的时间。因此，如果可以快速发现文章不值得一审，那么可以节约所有人的时间。而的确有一些文章是显然可以不看的—如方向不在会议关心的范围，贡献过于incremental，明显miss大量或极其相关的related work，evaluation没有baseline或baseline错误，evaluation metric错误，这种问题大部分情况下以SPC的经验确实可以在5分钟内发现。大部分杂志也都有这样的summary reject规则。有时甚至可以reject without review 60%以上的稿件。
我今年两个会议实际操作的结论是：summary reject的比例大概最多到20%，这次直接杀了40%，太过头了。其实我也是比较失望的，因为我自己实际操作之前，以为我可以杀掉很多文章，减少大家的很多工作量。但实际操作之后，发现有很多文章的弱点需要细读才能找到，不是随便看几眼就能够看出来的。最后，我作为SPC，按照学术范式仅推荐了20%的文章作为summary reject。但以IJCAI而言，显然不是所有人都采用了同样态度，因为program chair直接要求SPC推荐30%到40%作为summary reject。我认为设定比例是不正确的，应该像CVPR一样，没有预设的录取比例，由SPC或AC按照学术规范自行把握。AAAI也没有预设比例，最后也只杀掉了接近20%的文章，也未引起这么大的反弹。
实际操作中，最大的问题则是文章分配的问题。由于TPMS系统的落伍，实际上我收到的大部分文章并不完全符合我自己的具体研究方向，在不完全符合自己研究方向时，是很难做到迅速了解文章价值的。我将这些文章基本都放过了（没有建议summary reject），但我不知道它们采用的投票方式为何，有些文章最后被summary reject了。因此要改进这一制度，更新tpms系统十分重要—现在已经有这么多各种BERT的NLP模型了，为何我们还要使用这个用的是10年前技术的TPMS呢……最大的希望是某个会议可以捐献数据来训练一个新的TPMS，提高大家的工作效率。
另外，IJCAI采用多个SPC投票并预设比例的方式，实际增加了随机性而且并未达到节省时间的目的。因为预设比例，因此最后据稿的票数很可能未超过半数，这样有很大随机性。并且由于投票人太多，反而无法给作者写出据稿意见，而无理由的据稿是大家都难以接受的。在这一点上，我认为一个SPC提议加上一个AC复核，并且不限定比例的方式（AAAI 20）较好。因为此方式中权力比较集中，也可以给出明确的据稿意见。作者也可以知道下面应向哪一方向努力。
另外，在采用这种方式时，应提示SPC注意到5分钟审稿的局限性，尽量不先入为主的评价论文贡献，而只是针对论文中明显的致命缺陷。虽然很难完全避免主观臆断，但可以减少这样的问题。
这是我的一些见解，供大家参考。总的来说，我还是支持summary reject的，但是IJCAI这次操作的有些问题。
作者：匿名用户
https://www.zhihu.com/question/373707458/answer/1031014857
ijcai2020 在summary reject阶段通过简单的投票形式就拒了接近一半的文章确实是让大家大吃一惊，在知乎twitter上可以看到很多人批评甚至呼吁抵制ijcai，我个人也觉得拒的数量超出了预想，但个人认为summary reject制度本身是有必要的，问题主要在于细节上把握不到位，以及使用的力度上。接下来首先我会先阐述为什么我认为summary reject是有必要的，其次会描述我认为此次ijcai2020在summary reject制度上实施的不足，各位看完再喷。
首先，我认为summary reject制度在目前人工智能领域各个顶会上是有必要的。在一个月多月前知道这个制度的时候，我和我周围的同事大多对于这个制度是支持的，因为根据我们这几年顶会论文的审稿经验，的确是由一部分论文是不需要给出任何审稿意见就拒掉的，这种论文的比例在这几年是逐步提升的。这一类论文主要问题是作者明显没有论文写作和投稿的经验，没有接受过科技论文写作的系统学习，或者论文明显不完整，属于提早提交后面又放弃了的。特别强调一下前者，不知道什么时候，人工智能成了一个公认特别水的领域，水到很多没有接受过科技论文写作训练的人认为自己随便写的东西也可以投稿顶会，建议很多接触科研不久想发好论文的新人，首先打好基础，论文的写作是需要系统学习的，而不是靠着平时看论文或者一次次的审稿意见积累琐碎的经验。重回正题，在实际的审稿中，为了凑字数，一看就要拒的论文和质量很好的论文，审稿人花费的时间却相差不多，这是不公平的，那些质量相对较好的论文应该得到审稿人更仔细的评价。最后，这个制度也有助于限制学术圈的很多不好的现象，比如论文不行就找关系，比如有的老师不指导学生却无脑要求学生发顶会文章。
但是，这一次ijcai20在summary reject上的实施明显是有问题的。首先，summary reject不是最终审稿，它筛选的是不符合会议要求和质量太差的文章，很明显ijcai这次在这方面力度把握的不合适，直接拒了接近一半的文章。我通过twitter看了几篇被拒之后直接发arXiv上的，其中有的文章本身是否能通过最终审稿是不知道的，但是即便被拒也是有资格得到一个系统审稿意见反馈的，这能让他们的工作得到相对全面的同行评价，知道未来改进的方向，通过个人和周围同事审稿的经验，完全不需要反馈审稿意见的论文比例最多也不应该超过30%。
其次，在实施细节上，SPC是否很清楚 summary reject到底应该对那种情况下的论文选择拒，5-10分钟的时间是否足够，SPC不是论文领域内的人员该如何处理？（插一句话，见过组合式创新的论文投稿的时候选择领域避重就轻，A+B+C的工作，C部分很重要但有问题，选择领域只选择A+B，得到的5个审稿意见三个都是不清楚C这个领域。所以如果投稿的时候如果大部分审稿人都说自己不是这个论文研究领域的，责任应该是论文作者的，是不是应该拒了）
作者：知乎用户
https://www.zhihu.com/question/373707458/answer/1032847238
说一下了解到的审稿过程，每一篇论文有5个以上spc给意见，然后ac给意见，这一步操作其实对于spc和ac的压力非常大，但ac和spc都是较为资深的学者，而且这么多人给意见，误杀会有，但是并不觉得会比pc审完高
另外pcchair信中写了5-10分钟，我的经验是肯定多于这个时间，这只是pcchair的估计
抱怨没有反馈意见的人比较多，可能是对于顶级期刊的投稿经验不多。Nature、Science系列，包括计算机领域的顶刊JACM，大部分投稿都是在早期被拒，没有反馈是很正常的，editor认为不合适，就这么一句话，再正常不过，反馈并不是义务，特别是这些会议审稿完全义务劳动
另外pcchair这次明确要求在视觉、NLP、学习、应用领域要求与细分领域顶会质量相当。于是也存在不少：按照chair的标准文章可能不够、而按照作者的理解“以前不也有这样的吗”的冲突
至于会不会影响会议口碑，个人认为不会，对于提升会议口碑应该还是正面作用居多
作者：匿名用户
https://www.zhihu.com/question/373707458/answer/1031384556
雪花崩的时候没有一片无辜的。
为啥ijcai搞summary reject还没点数么，这几年什么瞎写的文章都往上投，审稿人不够用，自然有人看走眼，让灌水文中了。
对于大多数作者来说，如果结果都是大概率被拒，当然选择投顶会，万一眼瞎呢，再不济顶会的审稿人意见也比次一档的会议靠谱啊。毫无成本的东西肯定做出对自己最有利的抉择啊。
本来人少的时候，圈子里还有点数，什么工作投顶会，什么工作投盛会，什么工作压根不应该被投出去，现在直接都靠数量取胜了，彻底破坏了原来的这套规则。
没人是无辜的，这个结果都是之前这么多人积累起来造的孽。对于领域来说，每年有价值的文章也就几十篇罢了，错杀文章对领域来说并没有损失。再者，如果一篇文章真的有价值，改投几次总能中，真的担心中不了的，怕是那种堆了好多trick强行刷sota的吧，生怕这次没中，下次就被人性能赶超中不了了。
作者：Zehao Lin
https://www.zhihu.com/question/373707458/answer/1030583912
这样的改进方式的确是一言难尽。出发点其实很清楚，1. 减小审稿压力。 2. 提高会议论文总体的质量水平。summary rejection流程完成了第一点，但第二点能否成功目前来看的确不好说，引起了很大的争议。此外对于NLP/CV之类的特定领域由50%以上的筛选比例是不是不够公平（ACL，EMNLP之类的领域会议好像也没有这么干同样保持好声誉吧）？那种一眼烂的文章，当然会被剔除掉（这种即使以往的审稿流程基本上也不可能中），但那些做的不错但是第一眼写的不够exciting的工作是不是容易被忽略contribution？
作者：王灏
https://www.zhihu.com/question/373707458/answer/1034722411
作为SPC说几句。我相信IJCAI这次summary reject的步骤出发点是好的，总体来讲就是为了减轻reviewer的负担，提高review质量。楼上有人调侃说，面对斐波那契投稿法，PC使出了。。灭霸审稿法。。不得不说，还是。。有点道理的。。
虽然summary reject的出发点是好的，但是可能力度控制的不是很好。SPC在flag summary reject的paper时，Chair一直发邮件强调，尽量控制在50%的summary reject比例。我一开始以为50%肯定没问题，因为总会有很多paper或是违反匿名规则，或是不使用特定的IJCAI template。后来发现其实不是这样，绝大多数paper都没有这种明显的问题，因此SPC其实每篇paper需要花的时间可能会超过10min。
我自己的过程，是会完整看完abs，比较仔细地扫一下intro，最后留点时间看下全文，简单check下实验部分以及baseline完整性。即使如此，我发现最后我也只能flag出20%左右的reject，不知道其他SPC是什么样的比例。最后Chair决定的时候，可能还是会对每篇paper取各个SPC的平均分做个排序，留下60%的投稿（可能最初Chair真的是想拒掉50%的，后来松了一点拒了40%？）。
这次summary reject毋庸置疑会错杀不少paper，肯定伤了好多人的心。不过换个角度，如果你过了summary reject，那么你的ac rate将会非常高（接近40%？）而且早点被summary reject的话，也不用经过‘收到review-rebut-悲剧/接收’如此跌宕起伏的过程。
放眼其他领域，正如俞扬老师说的，其实很多期刊也有类似的流程。比如Nature、Science这种，editor reject的概率一般会到80%。
作者：Thinkwee
https://www.zhihu.com/question/373707458/answer/1033400202
更新一下，玩笑归玩笑，现在的大型ai会议审稿压力大也是不得不去尝试解决的现实问题。组里有同学被summary reject之后收到了program chair的解释邮件，看来这几天确实舆论压力很大，以下是邮件的几点回应：
let me answer a few of the comments I have heard or received.
1. "Desk rejecting 2000 papers is ridiculous".
--> Summary reject is *not* desk reject. Senior PCs were explicitly asked to assess the value of the contribution, not the format or the fact that the paper fits the scope of IJCAI (which already led to 346 desk-rejected papers). After the votes, each paper was processed by an area chair, who analyzed the votes and the brief comments from the senior PCs, and in many cases the area chair had a look to the paper before proposing a decision.
2. "You killed IJCAI, whose main purpose is to give authors a feedback on their current research, especially to students".
--> Unfortunately, given the large scope and the number of submissions, IJCAI can no longer afford being a forum where to seek feedback about our work. For such feedback, conferences with more focused scopes are probably more appropriate.
3. "You could at least send us the comment of the area chair".
--> This was my original plan. But after having checked many of the papers, I understood it was not a satisfactory solution. Papers with many negative votes usually do not have any comment from the area chair. Borderline papers have two-three lines comments. I did the test on Saturday: I sent the comment from the area chair to the first authors who sent me an email to ask for it. This didn't close the debate because two-three lines are not enough to convince an author about the weaknesses of their submission.
4. "The result of this selection is random".
--> As it is the first time we implemented this, I cannot claim the validity of the experience. A careful statistical analysis will be conducted at the end of the review process. The pros and cons of the approach will be drawn for future IJCAIs. (Just to break a bit the myth of the 'three reviews' accuracy: https://cacm.acm.org/blogs/blog-cacm/181996-the-nips-experiment/fulltext).
5. "It is so rude and unfair to receive a notification without any feedback for a hard work of several months. If I knew I would have never submitted to IJCAI".
--> Though I understand the feelings it can raise, let me quote the CFP: "By submitting a paper, authors acknowledge that they are aware of the possibility of receiving a summary rejection notification within one month after submission without any written review. Authors also accept that all decisions of the program committee (i.e., summary reject, standard reject, or accept) will be final and cannot be appealed."
I sincerely hope that these clarifications will help some authors to better understand how and why things have gone like that for their paper.
原回答：
automatic summarization可以开一个新方向:summary reject classification。还不存在样本不均衡问题。
作者：匿名用户
https://www.zhihu.com/question/373707458/answer/1036121287
主编的邮件我也看了，我觉得还是公平的，说的话也是有理有据的。
初次试用summary-reject方式就拒稿接近43%，确实会让投稿的作者感受自己遭到了不公平的对待。但是，也请各位站在会议举办方的位置上思考一下。
首先，会议的审稿人真的不够。一篇会议原则上要找3个审稿人，一个reviewer重复审稿3次，也至少需要5000个审稿人。顶会的审稿人肯定是不少的，而且还会有很多热心的教授学生自愿来审稿。然而，到了分配时，不仅要考虑到方向还要考虑专业程度，这种情况下，找到5000个可以覆盖整个会议投稿主题的审稿人，并不是容易的事情。
其次，拒稿没有理由这件事情，主席也说了，之前尝试发了一些，但是投稿人并不接受这些意见，而且有些审稿人也没有给出很具体的拒稿理由，所以干脆就都不发了。这个观点我是很认同的， 除去没有被拒稿的，大家肯定都收到过各种各样的拒稿意见。有的说你的创新度不够，有的说实验效果不好，有的说使用场景不够广泛，有的直接就说跟期刊方向不符合。
收到很细致的审稿意见，的确能够对初次写论文的有很大帮助，但是扪心自问，拒稿的意见写的很详细，你确定你会接受里面的每一条吗？拿我自己来说的话，不会。这种情况下，我不觉得有拒稿理由会让我心里好受一些，反正都是拒稿了，没啥区别。
我这个渣渣没有啥自信，所以一般被拒稿也就自己私下骂骂期刊，并不会写信反抗（自己比较怂）。这次收到会议的解释信还蛮意外的，也就过来瞅瞅，自己bb两句，仅供娱乐了。
作者：尘世迷途小书童
https://www.zhihu.com/question/373707458/answer/1031961817
搬一个SPC的解释，或许可以看一下:
Hi,
IJCAI SPC here (senior program committee member, level between "normal" reviewer and area chair). Let me shed some light on this.
My understanding is that the IJCAI organizers felt that with the explosive growth of submission numbers, it was infeasible to run a full review process for each and every paper. What they tried to do was to reduce the number of papers by asking SPCs to look over a large number of papers (40 in my case) and check for signs of serious problems (lack of motivation, relevance, innovation, strength / breadth of evaluation).
I think there's two questions to be discussed here -- first, does this make sense in the first place? Second, did the organization work out?
With regard to the first question, I think it's not a bad idea in principle. There are some journals who do this too. The problem is how you set the threshold. I personally recommended about 10% of papers for summary reject -- when I'm not sufficiently familiar with the details, I would not recomm.
作者：皓波
https://www.zhihu.com/question/373707458/answer/1034840927
怪不得看到自己Review的论文只有四篇，原来直接砍了40% hah
前几天收到的邮件，绝大部分Summary Reject论文早就筛选完了，为啥不早点放出来结果好让大家改投呢…
Some of you are wondering whether some of the papers they are currently
reviewing could have been summary rejected. The answer is no.
Or more precisely, all papers you are currently reviewing have to be reviewed.
There is a small proportion of the papers under review which were proposed
for summary reject and that we have sent for full review. The purpose
is to make a statistical evaluation of the accuracy of summary reject.
END
如果看到这里，说明你喜欢这篇文章，请转发、点赞。微信搜索「uncle_pn」，欢迎添加小编微信「 mthler」，每日朋友圈更新一篇高质量博文（无广告）。
↓扫描二维码添加小编↓
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
