人工智能基准(Benchmarking)再思考

来源：专知

本文多图，建议阅读5分钟

本文介绍我们在人工智能(特别是在自然语言处理)中进行基准测试的方式时所做的工作。

当前人工智能中的基准测试范式存在许多问题:基准很快饱和，容易过度拟合，包含可利用的注释器工件，评估指标不清晰或不完善，并且不能衡量我们真正关心的东西。我将谈谈我在尝试重新思考我们在人工智能(特别是在自然语言处理)中进行基准测试的方式时所做的工作，包括对抗性的NLI和模因数据集，以及最近推出的Dynabench平台。

https://nlp.stanford.edu/seminar/details/douwekiela.shtml