ACL2024最佳论文揭榜，中国本科生破译3000年前的甲骨文密码

标题：ACL2024最佳论文揭榜！中国本科生破译3000年前的甲骨文密码

一、会议介绍

ACL（Annual Meeting of the Association for Computational Linguistics） 2024，即第62届国际计算语言学年会，正在2024年8月11日至8月16日在泰国曼谷召开。作为计算语言学和自然语言处理领域的顶级会议，ACL是学者们展示最新成果、交流思想的重要平台。它被CCF和CE评为A类，近年来录取率约20%。

二、会议快讯

为期6天的ACL盛会涵盖了34场Workshops的深入探讨。今年，大会录用率再创历史新低，主会仅为21.3%，Findings也降至22.1%，凸显了学术竞争的激烈程度。同时，大会评选出7篇最佳论文与35篇杰出论文，并颁发了多项重量级奖项，展现了自然语言处理领域的卓越成就与创新精神。

三、最佳论文奖

1、Deciphering Oracle Bone Language with Diffusion Models

论文地址：https://arxiv.org/abs/2406.00684

创新点：该论文的创新点在于提出了一种基于图像生成技术的甲骨文破译新方法——甲骨文破译（OBSD）系统。该方法利用条件扩散模型策略，生成对甲骨文破译至关重要的线索，开辟了AI辅助分析古代语言的新途径。

作者感言：科研实践可以帮助我逐渐理解一开始不明白真正用途的数学理论，而这些理论也可以反过来对我的研究工作进行创新指导。

研究单位：华中科技大学、安阳师范学院、华南理工大学、阿德莱德大学

2、Aya Model: An Instruction Finetuned Open-Access Multilingual Language Model

论文地址：https://arxiv.org/abs/2402.07827

创新点：提出了Aya模型，覆盖了101种语言，其中超过50%是低资源语言。Aya在多数任务上超越了现有模型，显著扩展了多语言评估的范围。论文还引入了新的评估套件，详细研究了最佳微调混合组合，并开源了指令数据集和模型。

研究单位：麻省理工学院、卡内基梅隆大学，布朗大学、Cohere

3、Causal Estimation of Memorisation Profiles

论文地址：https://arxiv.org/abs/2406.04327

创新点：提出了基于差分设计的因果估算方法，以高效准确地评估语言模型的记忆能力。该方法仅通过观测少量实例的训练行为，即可刻画模型的记忆趋势，发现记忆强度与模型大小、数据顺序及学习率的关系。

研究单位：苏黎世联邦理工学院、剑桥大学

4、Mission: lmpossible Language Models

论文地址：https://arxiv.org/abs/2401.06416

创新点：构建了合成的“不可能语言”，用以测试大型语言模型（LLMs）的学习能力。研究发现，GPT-2在这些语言上的学习效率低于英语，挑战了LLMs能学习任何语言的观点。

研究单位：斯坦福大学、德克萨斯大学、加州大学

5、Semisupervised Neural Proto-Language Reconstructior

论文地址：https://arxiv.org/abs/2406.05930

创新点：提出的神经网络架构DPDBiReconstructor，它结合了历史语言学家的比较方法，确保重建的词不仅能够从其后代词中重建出来，而且能够通过确定性的音变规则重新转换回后代词。

研究单位：卡内基梅隆大学、南加州大学

6、Why are Sensitive Functions Hard for Transformers

论文地址：https://arxiv.org/abs/2402.09963

创新点：深入探讨了Transformer模型在处理敏感函数（如布尔逻辑）时的困难性，通过对比实验揭示了Transformer在处理某些特定功能时的局限性。

研究单位：德国萨尔大学

7、ExplainableDetector: Exploring Transformer-based Language Modeling Approach for SMS Spam Detection with Explainability Analysis

论文地址：https://arxiv.org/abs/2405.08026

创新点：将Transformer语言模型应用于短信垃圾检测，并引入可解释性，提高了模型决策的透明度。通过注意力机制分析，揭示了模型识别垃圾短信的关键依据，为反垃圾短信技术提供了新视角和可解释性支持。

研究单位：爱丁堡纳皮耶大学、伊迪斯科文大学

获得专题论文奖的是「OLMo: Accelerating the Science of Language Models」。

论文地址：https://arxiv.org/pdf/2402.00838

获得时间测试奖 (Test of Time Award) 的是 2014 年发表的「GloVe: Global Vectors for Word RepresentationGloVe」
论文地址：https://aclanthology.org/D14-1162.pdf

五、总结

ACL2024最佳论文展现了语言处理领域的创新高峰，未获奖作品同样价值连城，推动技术边界。鼓励投稿者保持热情，持续优化研究，未来可期。请继续关注会议之眼，，给你带来更精彩的报道。