作者按
最新的ARR 2025年的投稿前两天已经下发给各个ACL的会员了,具体的详情如下。如果让我归纳总结,那就只有2个变化:(1)圣诞节可以歇一歇了!(2)ARR也许可以出录用保证书了!
对于第一点,我觉得应该大家努努力,把春节也纳入到winter break的过程中。第二点,目前还仅处于试验阶段,得看今年ARR的AC们是否qualified了。
ACL同行评审常务委员会(COPR)报告 1
委员会成员:
- Roy Schwartz(共同主席)
- Anna Rogers(共同主席)
- Steven Bethard
- Roi Reichart
- Yuki Arase
- Vivian Chen
- Barbara Plank
- Thamar Solorio
- Noah A. Smith
1. 摘要
ACL同行评审委员会在过去几个月里致力于制定改进*ACL会议同行评审流程的想法。我们首先通过一项关于各种改进想法的调查来收集社区意见。我们汇总了调查结果,并根据这些结果提出了我们的第一个可行建议:将每年6次ARR周期减少为5次周期。我们在此描述了这一提议的动机、细节以及讨论。我们还讨论了另一项建议,尽管其具体实施仍需进一步探讨:允许ARR做出接受决定。
2. 背景与动机
在过去的几年里,ARR已经固定为每年6个周期,每个周期从偶数月的15号开始。每个2个月的周期包括多个步骤:初步筛选论文并分配审稿人;实际审稿;催促延迟审稿的审稿人;反驳阶段;审稿人讨论;写作元审稿;以及催促延迟的学术委员会(AC)。在2024年7月17日的ACL执行委员会会议上,新成立的ACL同行评审常务委员会(COPR)被要求考虑当前ARR工作流的一个常见抱怨:作者对于审稿和会议决定分离的过程感到沮丧。问题被表述为:“ARR应该与程序委员会(PC)主席一起做出接收决定,而不是进行单独的承诺过程。”我们将这个问题解释为有两个可能的方向:一是尽可能在每个ARR周期中提供决定,二是减少ARR周期的数量,使其与决策场所的数量相等,从而消除当前的分离问题。
COPR通过电子邮件和两次会议对该问题进行了广泛讨论。最初的计划是在ACL’24之前提出一个建议,但委员会内部对问题的解释和前进方式存在很大的分歧(总共讨论了6个选项)。委员会成员之间的视角和个人经验差异如此之大,以至于我们得出结论,任何此类广泛的建议都需要基于社区的反馈。因此,我们在2024年10月底向ACL会员和ARR发出了调查,并通过社交媒体进行了宣传。
除了最初提出的对分离过程的沮丧反馈,我们还考虑了委员会成员在不同ARR周期中担任不同角色(EiC、SAC、AC)时的亲身经验:
- 最近周期中增加的论文数量使得工作变得不可持续。特别是,当前的设置严重影响了编辑和元审稿人(AC和SAC),他们需要在非常短的时间窗口内催促作者/AC,因此压力很大。它也影响了作者,因为他们与审稿人的讨论时间很少,因此常常感到非常沮丧。对于EiC来说,这项工作变得几乎不可能,社区成员感到精疲力尽,审稿和元审稿大量延迟。
- 上述不同任务开始的时间随机(因为周期总是从15号开始)。这意味着这些任务不仅完成时间太短,而且在许多情况下,还有效地跨越了周末。
- 连续不断的周期没有为ARR提供空闲时间,用于离线改进。
该调查收到了1600份回复,其中1040份来自ACL的现有成员。调查结果的分析可在附录中查看。
3. 提出的解决方案
3.1 建议1:每年减少至5个ARR周期
作为结合与分离过程的最终选项,在我们的调查中我们提出了将每年周期减少至4个,每个周期3个月(这将完全消除当前会议与ARR的分离)。这一提议获得了审稿人的支持,但作者更倾向于保留当前的6周期系统。
因此,我们推荐一种折中的解决方案:每年5个ARR周期,每个周期10周。这将使平均周期长度增加10天。
多出的时间将由ARR分配,以便在当前痛点中提供更多时间,包括催促延迟审稿人、作者与审稿人讨论、AC撰写元审稿和SAC催促延迟AC。这一方案还允许每个周期开始时以及每个任务在周一开始,从而在工作日内有更多时间来完成。最后,它会留出两周的空闲时间(通常是日历年最后两周,在12月和1月的假期期间),这可以用于改进ARR基础设施。
3.1.1 2025年提议的时间表
我们建议在2025年2月15日的周期后开始这一改变(该周期已经分配给ACL 2025,并按照原来的2个月周期进行)。此后,ARR将在2025年进行三个周期:5月19日(分配给EMNLP);7月28日(分配给AACL);10月6日(待定)。2026年第一次周期将从1月5日开始。我们已与EMNLP 2025和AACL 2025的PC确认了这一时间表,他们已接受该方案。2025年10月和2026年1月的周期可用于EACL和ACL 2026,但这一点仍需与相应的PC讨论。
以下是这些周期的具体日期,以及如何分解第一个周期的提议。
2025年5月周期:2025年5月19日(周一)至2025年7月27日(周日)
建议时间表:
- 2025年5月19日(周一)至2025年5月25日(周日):PC匹配SAC、AC和审稿人到论文
- 2025年5月26日(周一)至2025年6月1日(周日):AC检查论文和审稿人分配
- 2025年6月2日(周一)至2025年6月20日(周五):审稿人审阅论文
- 2025年6月23日(周一)至2025年6月29日(周日):AC催促延迟和紧急审稿
- 2025年6月30日(周一)至2025年7月6日(周日):作者反驳
- 2025年7月7日(周一)至2025年7月18日(周五):AC撰写元审稿
- 2025年7月21日(周一)至2025年7月27日(周日):SAC催促元审稿
2025年7月周期:2025年7月28日(周一)至2025年10月5日(周日)
2025年10月周期:2025年10月6日(周一)至2025年12月14日(周日)
冬季假期(无活跃ARR周期):2025年12月15日(周一)至2026年1月4日(周日)
2026年1月周期:2026年1月5日(周一)至2026年3月15日(周日)
3.1.2 讨论
优点
我们的提案将允许更可持续的ARR周期。我们将有更多的时间让AC追踪作者并撰写元评审。SAC也将有更多时间追踪迟交的AC。此外,将每年周期数减少17%(从6个减少到5个),将减少编辑成员的整体工作量,他们将承担更少的角色。作者也将从这一变化中间接受益(通过整体改进的评审过程),但也会直接受益,因为这将允许他们与评审人有更长时间的讨论。
缺点
这一提案的明显缺点是每年可提交的周期数减少了。然而,我们认为这是一个合理的代价,因为当前的系统根本不可持续。
另一个小缺点是作者可能不再能像之前那样按固定日期(每两个月的15号)提交论文,而是需要查找下一次提交的截止日期。为了缓解这一小不便,完整的日程安排将会在ARR网站上发布,并在ARR的CFP中链接。
脱周期
所提议的变动可能会减少ARR的脱周期数量(即那些不与特定会议相关联的周期)。如果所有主要的NLP会议(ACL、NAACL、EACL、AACL和EMNLP)都采纳ARR,则每年最多只会有一个脱周期。虽然脱周期对一些作者来说非常有价值,他们可以提前提交作品并享受另一个评审周期,但它并不是ARR的核心部分,我们认为为了更可持续的过程,减少脱周期是合理的权衡。减少/取消脱周期也直接解决了本委员会成立的一个问题:ARR周期与会议的脱钩。
3.2 建议2:尝试让ARR作出Findings决策
在仔细考虑了多种向作者提供ARR级别决策的选项后,鉴于仍然是脱钩的5周期流程,委员会中获得最多支持的选项是允许ARR作出Findings决策。动机来自社区内部对于ARR与实际会议之间的差距的挫败感。特别是,作者常常惊讶地发现自己的ARR元评审得分很高,但最终还是被拒绝。为了解决这个问题,我们建议将部分会议决策移至ARR:ARR将决定每篇论文是否接受为Findings。此外,只有被接受为Findings的论文才能提交给会议,会议将做出二元决策:接受(提交到会议)或拒绝(即接受为Findings)。我们在发布的调查中寻求了对此想法的反馈,并获得了作者和评审人强烈的支持。
然而,由于以下因素,该想法实施起来有一定难度:
- 目前,ARR周期结束时唯一的推荐是AC的推荐,即元评审得分。ARR的元评审是由AC撰写的,尽管ARR有过滤机制,但有时AC可能是初级研究人员(例如,博士中期生)。我们是否能信任他们做出这样的决策?为了更好地回答这个问题,我们计划进行一个实验(可能在2025年ACL或EMNLP周期中),在这个实验中,ARR将明确要求AC做出Findings推荐,然后我们将估计被SAC推翻的AC决策的比例。如果这个比例足够低,也许我们可以信任AC来做出这些决策。
- 接下来,关于前一点,目前大约35-40%的论文会被接受为主要会议或Findings。如果我们允许ARR(尤其是AC,负责数十篇论文)做出Findings决策,可能会导致更高的接受率。我们在调查中明确询问了是否可能由于此类决策而增加ARR的接受率,结果意见分歧。特别是,一些调查受访者表示,较高的接受率会为他们带来问题,甚至影响以前Findings的出版物,因为他们的机构依赖于接受率来评估他们的表现。
- 直觉上,这一提案如果将Findings与不同会议(ACL/EACL/NAACL/AACL)的关联取消,将变得更为合理(即将所有Findings都作为ACL的Findings)。然而,一些调查受访者表示,与会议相关的Findings对他们在组织内的报告更有利,而且也认为提供给Findings作者至少一种在会议上展示其工作的选择(至少是虚拟的,但现场选项对学生来说也很有价值,并且,TACL式的流程允许作者选择他们可以前往的场地)是很重要的。这需要进一步的考虑和与会议PC的协商。
根据这一实验的结果,本委员会将考虑该提案的可行性,并提供最终的建议,是否将Findings决策委托给ARR。
报告原文详情见:https://www.aclweb.org/portal/sites/default/files/COPR-5-cycle-report-to-publish.pdf