ICML 2024 大语言模型相关507篇论文整理

导读

国际机器学习会议（International Conference on Machine Learning，简称ICML）是机器学习领域最具影响力的国际学术会议之一。ICML聚集了来自全球范围内的学者、研究人员和从业者，以分享他们在机器学习领域的最新研究成果、进展和创新想法。今年的 ICML 会议已在 2024 年 7 月 21 日~ 7 月 27 日于奥地利维也纳举办。

据官方邮件通知，今年 ICML 共收到 9473 份投稿，其中 2610 份被接收，接收率约为 27.55%。RLCN 从入选论文中筛选出大语言模型相关论文 507 篇，并分类整理出 21 个类别，包括Efficient LLM，Alignment/AI Safety，Evaluation， Multimodal，Reasoning等，供大家参考学习。点击文末“阅读原文”,即可在 RLChina社区获得 PDF 版分类列表。

论 文

整 理

图1. 由ICML 2024 507大模型相关论文标题生成的词云图

在今年被接收的论文中，共计 507 篇论文与大语言模型（Large Language Model） 相关。由于大语言模型本身具有大规模的网络参数，以及对高算力、大数据的需求，关于 efficient LLM 的研究是最多的，包括模型压缩、加速训练（包括 微调）、加速推理、高效架构设计等。其次，针对人工智能领域的安全性和价值对齐（ Alignment/AI Safety），如何评估语言模型的能力，包括通用能力与特用能力（Evaluation），如何提高大语言模型的逻辑推理能力（Reasoning），以及多模态的大模型（Multimodal）都是当前备受关注的研究领域。本次 ICML 中稿论文中关于时间序列预测（Time Series Forecasting），LLM 优化序列决策任务（LLM for sequential decision making）较以往更多一些。总体上，随着大语言模型的发展，可研究的问题在不断涌现，论文写作的门槛也有所降低，这导致论文投稿数量也不断增加，很期待未来有更多有价值的工作出现！

我们将所有论文分为 21个类别，各类别及所属论文数见表 1。

表 1. ICML 2024 中稿论文中 LLM 相关论文分类

我们还整理了 ICML 2024 中稿论文中与 LLM 相关的论文的作者中稿次数排名：

图 2. ICML 2024 LLM 相关论文接收数量作者排名图

论 文 分 类

列 表

每个类别的论文信息可以在下表中进行查阅。

表 2. ICML 2024 中稿论文中 LLM 相关 507 篇论文分类整理