本文探讨了机器学习模型在训练过程中是记忆还是泛化的问题，通过研究微型模型的训练动态，尤其是Grokking现象，即模型在长时间训练后突然实现泛化。作者通过实验展示了模型如何从记忆训练数据转变为概括看不见的输入，并通过简单的任务解释了模型如何学习和泛化。文章提出了一些开放性问题，如哪种模型约束最有效，为什么记忆比概括更容易，以及大型模型如何表现。
Do Machine Learning Models Memorize or Generalize? (pair.withgoogle.com)
机器学习模型是记忆还是泛化？
作者：Adam Pearce、
Asma Ghandeharioun、
Nada Hussein、
Nithum Thain、
Martin Wattenberg 和
Lucas Dixon
2023 年 <> 月
2021 年，研究人员在训练一系列用于玩具任务的微型模型时取得了惊人的发现。[1].他们发现了一组模型，这些模型在训练更长
订阅专栏 解锁全文
扫一扫
202
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
