走进元学习：概述不同类型的元学习方法

2020-10-04 12:30:00

全文共1596字，预计学习时长4分钟

 

图源：unsplash

元学习是深度学习领域中最活跃的研究领域之一。人工智能界的一些学派赞同这样一种观点：元学习是开启人工通用智能（AGI）的垫脚石。

 

近年来，元学习技术的研究和开发呈现爆炸式增长。然而，元学习背后的一些基本思想仍经常被数据科学家和工程师误解。因此，笔者认为有必要回顾一下元学习的一些基本概念、历史以及该领域中一些流行的算法。

 

元学习背后的思想可以追溯到1979年，唐纳德·毛兹利（Donald B. Maudsley）在其作品中将新的认知范式重新定义为“学习者意识到并逐渐控制其内化的感知、探究、学习和成长习惯的过程”。

 

1985年，约翰·比格斯（John Biggs）在其作品将元学习更简单地定义为“了解并控制自身学习”。虽然从认知科学的角度来看这些定义很准确，但要适应人工智能的具体工作似乎有点困难。

 

在人工智能系统中，元学习可以简单地定义为获取知识多功能性的能力。人类能够以最少的信息同时获取多个任务。我们可以通过查看单张图片来识别一种新物体，也可以同时学习复杂的多任务活动，比如开车或驾驶飞机。

 

虽然智能体可以完成非常复杂的任务，但它们需要对任何原子的子任务进行大量训练，而且在处理多任务时仍然非常糟糕。因此，通往知识多功能性的道路需要智能体“学会如何学习”，或用术语来形容，就是元学习。

 

元学习模型的类型

 

人类在学习时，会根据具体情况采用不同的方法。同样，并非所有的元学习模型都采用相同的技术。一些元学习模型关注的是优化神经网络结构，而另一些模型（如Reptile）则更注重于寻找合适的数据集来训练特定的模型。

 

加州大学伯克利分校人工智能实验室最近发表了一篇研究论文，文中全面列举了不同类型的元学习。以下是笔者最喜欢的一些类型：

 

· 小样本元学习：“小样本元学习”的理念是创建深层神经网络，从最简单的数据集中学习，比如模仿婴儿如何通过只看到一两张图片来学习识别物体。小样本元学习的理念启发了记忆增强神经网络或单样本生成模型等技术的产生。

 

· 优化器元学习：优化器元学习模型的重点是学习如何优化神经网络从而更好地完成任务。这些模型通常包括一个神经网络，该神经网络将不同的优化应用于另一个神经网络的超参数，从而改进目标任务。那些专注于改进梯度下降技术的模型就是优化器元学习很好的体现，就像该研究中发布的那些模型。

 

· 度量元学习：度量元学习的目标是确定一个高效率学习的度量空间。该方法可以看作是小样本元学习的一个子集，通过使用学习度量空间来评价学习质量并举例说明。该研究论文向读者展示如何将度量元学习应用于分类问题。

 

· 循环模型元学习：该类型的元学习模型适用于循环神经网络（RNNs），比如长短期记忆网络(LSTM)。在这种架构中，元学习器算法将训练RNN模型依次处理数据集，然后再处理任务中新输入的数据。在图像分类设置中，这可能涉及到依次传递数据集（图像、标签）对的集合，然后是必须分类的新示例。元强化学习就是这种方法的一个例子。

图源：unsplash

随着深度学习向无监督模式过渡，元学习的重要性正在不断提高。如果我们能将学习过程应用到学习新任务，那么AGI的理念就会更加实用。但就和人类一样，让人工智能模型学会学习比学习本身更加困难，实际行进中依然任重道远。