博雯 发自 凹非寺
量子位 报道 | 公众号 QbitAI
今年4月份时,NeurIPS 2021曾宣布专门为数据集和基准测试推出一个新Track。
而现在,第一批数据集和基准终于公布了。
这次公布的内容包括一般数据集、NLP方向数据集、仿真环境和数据生成器、元分析和AI公平性、基准这五个方向。
入围的共有62篇论文。
入围的数据集和基准
在一般类的数据集上,共入围11篇:
主要为文本、语言、语音类的NLP数据集方向则有13篇:
仿真环境和数据生成器方向有11篇:
元分析和AI公平性上有7篇:
而最后在基准方面共有20篇:
新赛道规则:第二轮8月27日截止
对这一新Track所提交的材料,除了主会议论文之外,还应该提交补充材料:
像是如何收集和组织数据、其中包含何种信息、如何在合乎道德地使用数据,以及如何提供和维护数据等等。
提交是单盲的,而审查是开放的,
NeurIPS 2021会以主会议的标准进行严格审查。
只是其审查准则会适用于数据集和基准测试。
今年共有两次提交日期,允许连续提交。其中第一轮已截止。
第二轮提交的截止日期在8月27日,10月8日通知论文作者结果:
数据集和基准也需要审查规则
这一新Track是今年4月份,由NeurIPS的数据&基准主席Joaquin Vanschoren宣布的:
消息发出后,李飞飞教授表示赞赏:终于在ImageNet的12年之后见到了这一天。
在此之前,NeurIPS表示,现在社区内更关注算法设计,但往往不能轻易找到好的数据集。
这样,很多算法都只是在没有实际意义,或数据存在偏差的情况下进行评估的。
而在NeurIPS会议中,每年接受的论文中所提出的新的数据集少于5个,专注于在广泛的数据集上对算法进行系统性基准测试的也只有10个。
这也是NeurIPS开辟这一新Track的主要目的,他们表示:
我们建议在NeurIPS开辟一条新的赛道,作为数据和基准测试的孵化器。
它将作为出版物、会谈和海报的场所,也是讨论如何更广泛地改进数据集开发和面向数据的工作的论坛。
公布名单:
https://blog.neurips.cc/2021/08/12/updates-on-the-neurips-2021-datasets-and-benchmarks-track/
提交规则:
https://neurips.cc/Conferences/2021/CallForDatasetsBenchmarks
参考链接:
https://neuripsconf.medium.com/announcing-the-neurips-2021-datasets-and-benchmarks-track-644e27c1e66c