元学习基本概念笔记

元学习是深度学习领域最活跃的研究领域之一。人工智能（AI）社区中的一些思想流派赞成这样的论点，即元学习是解锁人工智能（AGI）的垫脚石之一。近年来，我们已经看到了元学习技术的研究与开发中的爆炸式增长。但是，元学习背后的一些基本思想仍然被数据科学家和工程师误解。从这个角度来看，我认为最好回顾一下元学习的一些基本概念和历史，以及该领域中一些流行的算法。

元学习背后的思想可以追溯到1979年，唐纳德·B·莫兹利（Donald B. Maudsley）将新的认知范式称为“学习者逐渐意识到并逐渐控制感知，探究，学习习惯的过程”。以及他们内部化的增长”。在约翰·比格斯（John Biggs，1985）的著作中可以找到一个更简单的定义，其中他将元学习定义为“了解并控制自己的学习”。从认知科学的角度来看，这些定义是准确的，但似乎很难适应人工智能（AI）的工作。

在AI系统的上下文中，元学习可以简单地定义为获得知识多功能性的能力。作为人类，我们能够以最少的信息同时完成多项任务。我们可以通过查看单个物体的图片来识别一种新型物体，也可以学习复杂的多任务活动，例如一次驾驶或驾驶飞机。虽然AI代理可以完成非常复杂的任务，但它们需要对任何原子子任务进行大量培训，并且在多任务处理方面仍然表现得令人难以置信。因此，通往知识多功能性的道路要求AI代理“学习如何学习”，或者使用一个更令人讨厌的术语来元学习。

元学习模型的类型

人类学习以下针对特定情况的不同方法。同样，并非所有元学习模型都遵循相同的技术。一些元学习模型专注于优化神经网络结构，而其他元学习模型（例如Reptile）则更多地关注寻找合适的数据集来训练特定模型。加州大学伯克利分校AI实验室的最新研究论文对列举不同类型的元学习进行了全面的工作。这是我的最爱：

少样本元学习

少样本元学习的想法是创建一个深度神经网络，该网络可以从模仿的简约数据集中学习，例如，婴儿如何仅看一两张图片就能学会识别物体。少数镜头元学习的思想激发了诸如记忆增强神经网络或单发生成模型等技术的创造。

基于优化器元学习

优化器元学习模型专注于学习如何优化神经网络以更好地完成任务。这些模型通常包括一个神经网络，该神经网络将不同的优化应用于另一个神经网络的超参数，以改善目标任务。优化器元学习的一个很好的例子是专注于改进梯度下降技术的模型，例如本研究中发布的模型。

基于度量元学习

度量元学习的目标是确定一个度量空间，在该空间中学习特别有效。这种方法可以看作是少数镜头元学习的子集，其中我们使用学习的度量空间来评估学习质量，并提供了一些示例。该研究论文展示了如何将度量元学习应用于分类问题。

循环神经网络元学习

这种类型的元学习模型适合于递归神经网络（RNN），例如长短期记忆（LSTM）。在这种架构中，元学习器算法将训练RNN模型，该模型将依次处理数据集，然后处理任务中的新输入。在图像分类设置中，这可能涉及依次传递一组数据集的（图像，标签）对，然后是必须分类的新示例。元强化学习就是这种方法的一个例子。

随着深度学习更多地转向无人监督模型，元学习的重要性正在稳步提高。如果我们可以概括学习新任务的学习过程，那么AGI的想法突然变得更加务实。但是，就像人类一样，人工智能模型正在发现，学习比学习不仅仅是学习。