元学习(一)

元学习综述

META-LEARNING WITHOUT MEMORIZATION

元学习的理解

 元学习已经成为一种很有前途的技术,可以利用以前任务中的数据来有效地学习新的任务。

元学习算法的挑战

  1. 元学习中的过度拟合记忆问题: 这提供了一个过度拟合的机会,其中元学习者概括了元培训任务,但当提供来自新任务的培训数据时,无法适应。元学习者记忆的功能解决了所有的元训练任务,而不是学习适应。
    2.大多元学习算法隐含地要求元训练任务是相互排斥的,这就致使没有单个模型可以一次解决所有任务。 在某些领域,这使得元学习完全不适用。

问题解决

现有的元学习算法通过仔细设计训练任务来隐式地解决这个问题, 例如,对于N路分类,每个任务由N个随机抽样类的示例组成。 N类被标记为从1到N,对于每个任务,我们随机地将类分配给标签{1,2,…,N}(在附录图3中可视化)。 这确保了不能单独从测试输入推断出特定于任务的类到标签的赋值。。这确保了不能单独从测试输入推断出特定于任务的类到标签的赋值。 然而,相互排斥的任务需求给用户带来了很大的负担,让用户巧妙地设计元训练设置,而且这个方法不能适用于所有元学习领域。

在本文中,作者通过使用信息理论来设计一个元学习正则化对象来解决这个挑战。 通过这样做,该算法可以成功地使用来自非互斥任务的数据来有效地适应新的任务。

主要贡献

1.识别和形式化元学习中的记忆问题;
2.提出一个元正则化(MR),使用信息理论作为减轻这一问题的一般方法,而不限制任务分配。

©️2020 CSDN 皮肤主题: 深蓝海洋 设计师:CSDN官方博客 返回首页