#今日论文推荐#NLPer内部巨大分歧，美国三所顶尖大学发布调查报告：62%从业者认同寒冬正来临

#今日论文推荐#NLPer内部巨大分歧，美国三所顶尖大学发布调查报告：62%从业者认同寒冬正来临

自然语言理解（NLP）素有人工智能皇冠上的明珠的盛誉，在大规模语言模型的加持下，人类也终于有了让计算机理解语言的能力。
但这个「理解」还是得打个引号，按目前NLP模型的效果来看，虽然在部分领域模型可以为人类提供辅助，例如写作、文本分类等，但离真正达到人类水平的语言智能还有很远的距离。
今年5月-6月，华盛顿大学、纽约大学、约翰霍普金斯大学的11位研究人员在NLP研究社区中发起了一份调查问卷，对NLP领域的争议性问题广泛征求意见，包括行业在该领域的影响力、行业规模、通用人工智能（AGI）的风险的担忧、语言模型是否理解语言、未来的研究方向以及道德问题等。

问题形式诸如：

• 语言模型能理解语言吗？未来可以做到吗？
• 传统的模型基准范式是否仍然可用？
• 构建和发布哪种预测类模型对于研究者来说符合道德标准？
• 下一个最有影响力的进步会来自工业界还是学术界？

从调查结果来看，受访者对于这些问题的看法几乎都是对半开。 除了回答问题外，研究者还会要求受访者预测该问题的答案分布情况，以发现社区预测与现实不匹配的错误社会学信念（false sociological beliefs），实验结果也是不出所料：NLP从业者的想法和整个领域的现状之间产生了巨大的分歧。 在其他结果中还可以看到，社区对benchmark的用处和NLP模型解决现实世界问题的能力大大高估了，而低估了对语言结构、归纳偏见和跨学科科学的重要性。 总共有480人完成了调查问卷，其中327人（68%）在2019-2022年间至少与人合著了2篇ACL出版物，属于该调查的目标人群。根据ACL Anthology提供的数据来看，有6323人满足条件，也就是说有约有5%的资深NLP从业者都参与了调研。以地理位置进行划分的话，58%来自美国（超过ACL统计值35%），23%来自欧洲，8%来自亚洲（远小于ACL统计值26%）。其中，来自中国的 NLP 研究者占3%（ACL统计值为9%）。

论文题目：What Do NLP Researchers Believe? Results of the NLP Community Metasurvey
详细解读:https://www.aminer.cn/research_report/6310b5787cb68b460f117c05https://www.aminer.cn/research_report/6310b5787cb68b460f117c05
AMiner链接：https://www.aminer.cn/?f=cs