如何看待NeurIPS2022审稿结果？

最新推荐文章于 2024-10-07 06:31:57 发布

FightingCV

最新推荐文章于 2024-10-07 06:31:57 发布

阅读量885

点赞数

分类专栏：人工智能文章标签：人工智能自然语言处理

本文链接：https://blog.csdn.net/Jason_android98/article/details/127004842

版权

人工智能专栏收录该内容

63 篇文章 5 订阅

订阅专栏

如何看待NeurIPS2022审稿结果？

来源：https://www.zhihu.com/question/533761265

作者：Aalanyj

先不评价审稿结果，我想单独评价一下NeurIPS 2022的chair，Kyunghyun Cho. 这位大哥这一个多月的推特简直可以称得上是快乐源泉。

NeurIPS 2022截稿是5/26，审稿分配是6/14，审稿deadline是7/11. 每个reviewer的默认任务量是5篇，可以说是时间紧任务重了。审稿是一个无偿服务，所以很多人都会有拖延症，拖到deadline之后再审稿。这位大哥作为NeurIPS 2022的chair，想要催大家尽早完成审稿，于是，他这一个月的小蓝鸟异常的活跃，各种段子妙语连珠，有些我实在接不到梗，就不截图了。

6/22，审稿进度2%

6/24，与其exploit接收的论文，为何不explore一下NeurIPS2022的投稿呢

有的地方，一周已经结束；有的地方，一周刚刚开始；而NeurIPS 2022审稿既不会开始，也不会结束

马上就是美国独立日了，为什么不赶紧审完NeurIPS 2022的稿，宣布从NeurIPS 2022独立呢

ECCV被拒了？来NeurIPS 2022审稿说两句吧

7/6 进度条上线。不要问审稿人能为你做什么，而要问你能为作者做什么。原文肯尼迪著名的演讲

7/6 你的一小步，NeurIPS 2022的一大步。原文阿姆斯特朗

7/7 审稿延期，没门，如果你审稿，我们两清；如果你不审，我会按着头皮让你审

7/8 审稿是接收和拒稿之间的一道绳索（原文尼采）

7/9 宝宝不高兴了，因为你没审完稿

大家都学着点

世界上有两类人，一类是已经审完的，另一类是声称自己审完了的

7/10 翻译不来，原文来自the dark knight

- 在NAACL 2022完成了NeurIPS 审稿 - 干得漂亮

神说，要有电，因为他们是NeurIPS 2022审稿人（原文Aliens）

今晚我们在地狱审稿（原文斯巴达300勇士）

审稿穿越时空（原文星际穿越）

“主席的审稿人“（原文芝诺的乌龟）

暗号不正确（原文侏罗纪公园）

我下周去开ICML，如果你还有没写完的NeurIPS 2022，你最好别让我逮到你

-我们走 -不能走，审稿没写完（原文等待戈多）

如果你在纽约，今天下午有空，而且写完了NeurIPS 2022审稿，私信我，今天我请你喝酒

然后他真的请人喝酒去了

Never bothered me anyway（冰雪奇缘）

ICML会场很宽敞，有空调，赶紧写NeurIPS 2022审稿吧

如果你在ICML，写完了NeurIPS审稿，来找我，请你喝酒（有效期45分钟）

然后又请人喝酒去了

作者：电光幻影炼金术

这次拿到了234，分数很低，应该会撤稿。但是想作为拿到低分的作者简单说两句:

审稿人如果确实负责任的，即便给低分作者也是能接受的，毕竟大家都是为了让整个社区更好。比如说这次给我低分的几个审稿人说的挺有道理的，也给了我很多启示。我读起来并没感觉到很不受尊敬，相反感觉他们在教我怎么发论文。我这次投稿是想尝试一个新方向，所以他们的建议对我也很重要。我有种“草船借箭”的快感，就是一般的文章得到了非常多的idea和进步空间，让人非常开心。
如果审稿人不负责任，泛泛而谈地讲几句就给个低分，作者的大几个月甚至几年的努力付之一炬，那肯定是心里会很难受的。这次审稿已经能看到其他审稿人的评论，我审的一篇论文看到有个审稿人就是很不负责任的批评了几句还给了很低的分数。批评的点是说会增加训练时长，然而其实我们这个新领域其实不会care训练的时间长度，我在他的审稿意见下面回复了力挺作者：

既然救不了自己的文章，能救一下审到的好文章也算功德一件。

PS：这篇文章就只有我提到的审稿人给了负分，我们都是正分，他多半后面会羞愧改分或者干脆装死。

审到Neurips的大多数审稿人都还是比较正常加比较愿意花必要的时间审稿的，我这次审到的文章很多篇虽然分数不同，大家对文章的优缺点的评判还是相同的，只是大家心中的bar不一样，这时候也没必要在群里/在心中抨击审稿人，毕竟只是心中尺度的问题，并不是不负责任的问题。审稿人和作者应当互相理解才是。

最后祝大家多多中稿，我准备搞下个工作了。这篇工作应该会撤稿放arxiv，希望能帮到后人一点是一点。

有人问我为啥不继续投了，是因为我是做transformer的，自从投稿之后发现N个同期工作，名字大概是叫XXFormer，TransXX，XXAttention，AttenXX，并且我发现有两个工作都叫XXFormer。

并不是觉得卷不过，而是卷这个方向感觉意义不大，不想卷了想换个小方向。

有人问我会不会觉得不甘心，其实挥别错的才能和对的相拥～

作者：匿名用户

经过几次简单的发表意见后，一篇5降为3，个人认为其rebuttal期间本就解释牵强，当初提分是在于其做了补充实验。但后来细看后，即便有了这些实验，但整体contribution已经没有了最初的高度，变成了一个很单纯的incremental改进工作，且方法有效性来源还存疑。原本6分的reviewer和我一起降了一分。剩下一个划水8分老哥全程不说话，且坚持8分，这篇论文真是啥毛病都没有哦，恨不得立马给它个oral。我高度怀疑这是熟人审稿。

一篇6，提高到7表明立场，个人认为这是合格论文，其技术值得被社区知晓，获得应用。

一篇3维持3，其他两位为55没说话，没改分。

再说下AC的表现，最终我打7分的这篇论文的AC比较积极，会提醒大家rebuttal开始，以及reviewer讨论阶段开始，还会催我们发表最终看法，以及最终还会就当前得分发表自己的意见“似乎该文应该被接受”。其他论文AC只是在reviewer讨论开始时提醒我们希望能达成一致。

一篇3撤稿，一篇4经过反复讨论与修改改为6，一篇3经过反复讨论与修改改为5，一篇3反复讨论越解释越矛盾维持3

看了review，事物都是相对的，别说只写了几句就给负分的审稿人存在，同样只写了几句就给高分的审稿人也存在，而后者对整个研究社区更为可怕。

分到4篇，算是最相关吧。初看质量都挺高的，故事切入点无话可说，分析头头是道，作图美观，实验充分，个别的附录都塞了很多表格。但细品逻辑与实验，都有漏洞或硬伤。

像常见的unfair setting，高中生物不及格的控制变量法，都是家常便饭，属于修正好了就无伤大雅的瑕疵。但有的就是硬伤了。比如提出一个evaluation metric，结果loss function与该metric形式相同，而在常规使用的metric上又无法领先于其他相关方法。

再比如做出一个简化假设的理想实验，以这个实验观察到的现象总结结论，然后提出方法。结果最后的实验却出现了与此前分析矛盾的结果（隐藏在两个表格里，单看一个表格看不出名堂，合在一起就是矛盾。）真不知你是该重做实验呢，还是重写story。

再比如提出一个方法可以完善对某问题的解决，喊出口号“更强大！更完善！更通用！”然而理论分析只能针对几个特例进行分析，一旦换一个切实存在的且本应更普遍的条件就完犊子了。

最终4篇里只有一篇4分（表示可以抢救一下，如果修改好的话，否则不达标），其余是核心逻辑硬伤，通通3分，除非AC力挺。

再说下打分原则：初看论文默认7分。不关心性能是否在榜单上SOTA，但关心在几个最相关工作中是否SOTA。不关心novelty，不管你方法是易是难，只要你的切入点是以往没见过的，并且切实有效，能(险)胜于几个最相关方法，有助于社区应用就novel。

现有投稿版本已经可以公之于社区阅读的，≥5分。再依据小瑕疵数量，实验充分性，科学性，涨点幅度，表明自己希望该文被accept的意愿强烈程度，在5-10分中挑选(5：尚有瑕疵，比如不影响论点正确性的unfair comparison。6：只存在表述不清和typos。7：合格论文。8：不仅合格，我认为它还能产生不小的影响力。9：amazing和膜拜。10：本届大会我心中本领域的best paper候选者)。

4分：暂时不达标，但可以抢救。有若干主要漏洞，修复好可以≥5。还有若干小瑕疵，都修复好恢复7分。（注意：能打4分的主要漏洞指的是我认为可以在rebuttal期间被修正的漏洞，不需要重写story逻辑。如果是需要重写story或者补做相当量的实验，以至于论文的叙述或排版都会与现有版本有较大区别的，通通3分。也就是说能录用的论文，必须是现有版本就已经距离camera ready很接近的论文，这也是会议区别于期刊的特点。这么说吧，你可以看成4分就是期刊的小修，而3分就是大修。所以3分并不代表你工作不够好，只是还需完善。）

3分：逻辑硬伤，前后矛盾，方法有效性存疑。重写论文再投恢复7分开始考虑。

2分：粗糙的划水投稿。

rebuttal后，也是根据上面的打分原则来改动分数。

最后是投稿建议：ablation study的作用是探究清楚你的方法的有效性来源，以及与其他最相关方法的PK。其他杂七杂八的设定一定要相同。

个人欣赏的是控制变量法使用得当的论文，哪怕性能只涨了一点点，但却透露出一股与金腰带真实肉搏PK后胜出的味道。当然这只是个人品味，可能只适合于最相关的小同行审稿人，因为他们清楚在这个重量级中内卷的激烈程度，而若是大同行审稿人可能就比较吃撑面板这一套(俗称SOTA大PK，同test设置，跨重量级，使用小trick的表格)。如果没有这套虚的，他很可能看不起你的核心方法这点零星的涨点，找不出主要问题，又非得写点审稿意见，那就只能写the performance improvement is limited，所以novelty is limited。

不过通常也不必在意这种只在乎涨点大小与novelty的审稿人，他们confidence通常较低，且寥寥数行的review在AC心中所能占的份量和话语权肯定远低于confidence 5且长篇大论的review。

再提一嘴，部分论文喜欢将自己的方法应用到其他相近的一些领域中，这虽然很好，但不适合于会议论文，而适合于期刊拓展。你方法的有效性应该围绕本领域展开，与本领域同重量级方法PK。换到另一个领域，与最vanilla的方法比较，其实是无法显示你方法的优越性的。马能载人，你的新马应与众多优秀的马PK载人的能力，而你拓展到拉货领域，却与人比较拉货的能力，证明你的新马比人更能拉货。然而那些优秀的马其实也可以应用过来去拉货，就不见得你的新马还能比得过了。于是你既没有证明你的新马有着其他马所不具备的良好拓展性，也没有证明拓展过来了你的马还是最优秀的马。