Albert Gu: More Learning, Less Data（更多学习，更少数据）

Albert Gu是卡内基梅隆大学机器学习助理教授及 Cartesia AI 的首席科学家，入选《时代》2024 年度最具影响力 AI 人物榜单。

构建基础模型需要大量数据。在未来一年，我希望我们能够让模型使用更少的数据进行学习。

人工智能领域通过扩大 Transformer 和数据集规模取得了显著成功，但这种方法可能已接近收益递减的临界点。当前的方法也带来实际问题：训练大型模型需要耗费大量时间和能源，而可用于训练的大规模新数据源也在逐渐枯竭。

现有模型的学习效率远低于人类。训练一个模型需要数万亿个数据标记，而人类学习则只需要数量级少得多的数据量。这表明，人类学习中存在某种学习算法、目标函数、架构或它们的结合，比当前模型更高效。

解决这一问题的关键之一是让模型能够生成更高层次的抽象，并过滤掉噪声。我认为数据效率这一核心问题与以下其他 AI 问题密切相关：

• 数据整理：当前模型的低效学习需要我们提前准备数据，而这可能阻碍了 AI 自动从数据中学习的潜力。
• 特征工程：尽管深度学习趋向于更加通用的方法，但工程化特征的工作仍然迁移到其他部分，比如分词过程。这表明模型架构仍有很大改进空间，以提高数据效率并处理更多原始数据。
• 多模态性：通过整合多种数据类型的核心抽象，模型可以联合利用多种模态，从而减少所需数据量。
• 可解释性与稳健性：能够生成高层次抽象的模型更容易解释、对噪声更稳健，同时需要更少的数据进行学习。
• 推理能力：模型提取高层次模式和抽象的能力应当提升其推理效率，相应地减少训练数据需求。
• 民主化：当前的顶尖模型成本高昂，仅少数机构能够承担。这限制了 AI 在数据或资源匮乏领域的应用。数据高效的模型将使 AI 更易获得、更实用。

以上问题彼此相关，数据效率可能是因，也可能是果。例如，解决可解释性问题可能会促使我们设计出更能提取有效特征、更高效的数据模型；反之，提高数据效率也可能带来更可解释的模型。

无论如何，数据效率至关重要，并且是人工智能领域更广泛进步的指示器。我期待未来一年在这一领域取得重大进展。