Meta Learning总结

最新推荐文章于 2024-06-22 14:01:09 发布
最新推荐文章于 2024-06-22 14:01:09 发布
阅读量582 收藏 4
点赞数
分类专栏： 元学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_21157073/article/details/107886108
版权

人类在学习过程中会不断总结经验，在完成许多任务的学习后，当面对新任务时，可以使用积累的经验迅速适应新的任务。对比元学习，人类学习不同任务的过程就是元学习训练的过程，而最后人类所积累到的经验就是元学习所得到的knowledge，即对于机器模型而言的经验。

所以元学习的重点就是使模型学习好多好多的任务，即Task。这些Task可以是相同的任务，也可以是不同的任务，可以都是分类问题，也可以分类中参杂着回归等等。只要模型在解决这些Task时，能够学习到我们期望它所需的知识，这些Task可以是任何配置。既然是Task，那么它就应该是一个个单独的任务，所以其中既包括训练数据又包括测试数据。
最简单的Task格式是这样的（取台大达李弘毅老师的PPT）：
在这里插入图片描述

元学习最后得到是knowledge，也就是经验。在不同的网络架构中这个knowledge可以有不同的体现，它可以是一个预测不同模型参数的能力，或者可以是一个embedding函数，也可以是一个有着效果不错初始化参数。
依据实现方式的不同，目前最常见的元学习方式包括三种：

  1. 基于RNN等模式的记忆存储
  2. 基于参数初始化方式的MAML，Reptile等
  3. 基于度量学习的Matching Network，Prototypical Network等

对于第一种 “基于RNN等模式的记忆存储” 的元学习方式不是很了解，直接从第二种开始尬！！

基于参数初始化方式的MAML，Reptile等

这种方式主要就是在寻找一套参数，当使用这套参数解决一个新任务时，只需要少量的样本或者几次梯度下降就可以在新任务上取得不错的效果。
MAML
其中MAML属于这一块研究的开山之作，对于MAML而言，生成参数的网络和Task中使用的网络是一致的。其主要思路是：

  1. 当面对不同的Task，“MAML”会为这些任务生成一套初始化参数
  2. 每个Task将得到的初始化参数在自己的Support Set计算几次更新后，取平均方向得到更新后的参数，将更新后的参数作用在Query Set上计算损失，这个损失将回传给“MAML”网络，来指导下次参数的生成。如果这个损失很小，说明“MAML”生成的初始化参数，面对一个新的Task，只需几步调整，就能在测试集取得不错的效果，反之就不求行！！

每个Task的损失回传过程中会涉及Query Loss以及Support Loss的链式，所以本质上是一个对损失的二阶导数，优化实现过程中不是很容易实现，所以在MAML的实现，直接使用Query Loss来进行参数更新。如下图：

基于度量学习的Matching Network，Prototypical Network等

基于度量学习的元学习方式主要在学习一个Embedding函数，这个Embedding函数就代表元知识。这种方式大多在Few-Shot 中解决小样本的分类问题，使用Embedding函数将每个Task中的样本映射到指定空间中，然后在此空间中使用各种距离完成分类。
Siamese Network

Matching network

Prototypical networks

  1. 将相同类别的数据映射为一个“原型”
  2. 计算测试样本与各个原型之间的距离
  3. 选取距离最小的作为预测类别

Relation Network

  1. 使用f提取训练集与测试样本的特征：f(xi),f(xj)
  2. 将f(xi),f(xj)拼接
  3. 使用g产生一个（0，1）间的标量来预测f(xi),f(xj)的相似度

参数预测

对于小样本而言，思路就是，在训练集上，获得每个类在大量样本下训练得到的参数W，同时获得对应类在小样本下训练得到的参数W0，所以获得大量的（W0，W），然后学习一个映射函数T：W* = T（W0），在T训练完毕后，当面对新的小样本时，直接使用T将W0映射到W*，完成模型**
Learning to Learn: Model Regression Networks for Easy Small Sample Learning
在这里插入图片描述
Meta-Learning to Detect Rare Objects

  1. 将物体识别分为两部分（1）category-agnostic（类别无关模块）（2）category-specific（类别分类模块）
  2. 类别无关模块，对于base和novel类是通用的，同时使用一个映射函数将base的category-specific参数映射到novel类别中

在这里插入图片描述

Low-Shot Learning with Imprinted Weights

  1. 具体分析了度量损失和softmax损失的一致性
  2. 使用imprinting预测新类的权重

在这里插入图片描述

Dynamic Few-Shot Visual Learning without Forgetting

  1. 首先训练得到Wbase完成Cbase的分类，对于新的样本，将Wbase和小样本数据集输入到generator完成Wnovel的预测
  2. Wnovel预测过程中，会使用attention筛选Wbase

在这里插入图片描述

DeepWWJ
关注
  • 0
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
MetaLearning原理与代码实例讲解
光剑书架上的书
05-24 476
1. 背景介绍 1.1 从机器学习到元学习：学习如何学习 机器学习在过去几十年中取得了巨大的进步，在图像识别、自然语言处理、语音识别等领域取得了突破性进展。然而，传统的机器学习方法通常需要大量的标记数据，并且在面对新的、未见过的任务时泛化能力有限。为了克服这些局限性，
元学习(MetaLearning) 原理与代码实例讲解
光剑书架上的书
05-31 984
1.背景介绍 元学习（也称为“学会学习”或“超学习”）是机器学习领域的一个研究热点，旨在使模型能够从不同任务中学到通用的知识，以便更快地适应新任务。随着深度学习的快速发展，人们越来越关注如何提高模型的泛化能力，使其在面对新的数据集或任务时能够快速适应并取得良好的性能。元学习就是这样一种技术，它通过在多个相关任务上学习，使得模型能够在面对新任务时实现快速
meta learning
weixin_41391619的博客
04-07 461
差不多要一个月没有看李老师的视频了，昨天终于又点开了收藏夹里的视频，OK，开始吧~ 一.概述 1.什么是meta learning 像上图蓝色笔圈起来说的，当准备用一个神经网络解决一个任务时，神经网络的架构（比如是CNN还是RNN,是VGG还是resnet）、初始值的设定、参数更新方式（比如是SGD还是Adam）都是我们自己决定的，meta learning的目的就是学习一个F，这个F能针对不同...
【Deep Learning】Meta-Learning：训练训练神经网络的神经网络
最新发布
Deep_Thinking的博客
06-22 1318
本文简单介绍了两类与Learn to Learn有关的问题元学习（Meta-Learning）或少样本学习（Few-Shot Learning）少样本学习在大模型强大的Few-Shot能力下已经成为主流，在很多下游任务上大放异彩。Learn to learn nerual network by nerual network：即通过神经网络来优化训练神经网络的过程由于效率不高，再套一层娃（Learn to learn to learn） 的效果也并不好。
MetaLearning
03-29
人工智能前沿研究，元学习研究资料—Meta-Learning: A Survey，Model-Agnostic Meta-Learning for Fast Adaptation of Deep Networ，Online Meta-Learnin，Task Agnostic Meta-Learning for Few-Shot Learning
metalearning-slides.pdf
06-11
metalearningPPT 小样本学习 ...总结全面，很不错的资源 metalearningPPT 小样本学习 深度学习 元学习 谷歌大脑 总结全面，很不错的资源 metalearningPPT 小样本学习 深度学习 元学习 谷歌大脑 总结全面，很不错的资源
Meta Learning
travalscx的博客
07-05 274
先放在这，提醒我过两天要学习哈哈哈哈
Meta learning
Tra_cy的博客
09-15 230
一、Introduction Meta learning = Learn to learn 二、Meta Learning 1、比较 与Life-long的区别： Life-long：所有任务使用一个模型 Meta：每个任务可能有不同的模型 与Machine Learning的区别： 2、算法步骤 # Step 1：定义一个learning algorithm的集合； # 初始化参数不一样，表示不一样的学习算法 # Step 2：评价一个learning algorithm的好坏； # N个Ta
Deep Meta Learning
啊哈的专栏
09-03 1197
  智能单元第100篇 最前沿：解读ICLR 2018 Best Paper：基于Meta Learning在动态竞争环境中实现策略自适应 https://zhuanlan.zhihu.com/p/35695477     Deep Meta Learning for Real-Time Visual Tracking based on Target-Specific Feature S...
Meta Learning学习（一）
StarfishCu的博客
10-09 160
要开展meta learning的相关工作，从0肝起，记录下来。 概念 Meta Learning称为元学习，云里雾里的名字，看了名字根本不知道这是干嘛的。但通俗的理解就是learning to learn，学会学习，目标就是为了让机器学会如何去学习，快速完成学习任务。 近年的热门ai的发展历程可以认为是：deep learning -> reinforcement learning -> meta learning。deep learning的代表就是cnn rnn这些现在看来已经有更好上位
Meta-learning（元学习）
hxxjxw的博客
08-20 1042
meta-learning是learning to learn meta learning是和machine learning并列的 相较于之前的机器学习算法，meta learning 是让机器学会学习。传统的机器算法只是希望机器学习到一个函数f，通过这个函数f，来判断这个图片属于究竟属于哪个类别，一条微博的评论是正面还是负面。但是meta learning 是希望机器在学习了一些图片分类任务之后，可以学会文本分类的任务。 就是说，我们期待做到的事...
【学习】Meta Learning、
Raphael9900的博客
01-10 619
李宏毅深度学习
Meta-Learning：MAML
jzwei023的博客
03-14 588
什么是元学习meta-learning 一般的机器学习，由人来设计一套学习算法，然后这个算法会根据一堆样本D_train学习其中的参数。 而Meta Learning做的事情与上述描述不同的地方在于，将其中由人来设计学习方法的过程，改成了由机器来设计一套学习方法。在Meta Learning中的训练资料变为一堆D_train和一堆f的组合，由此来学习F。 再抽象点就是传统机器学习是根据资料找一个函数f的能力。而meta lerning是根据资料找一个找一个函数f的函数F的能力。 现在大致的元
Meta-learning（元学习与少样本学习）
nakaizura
02-06 5870
Meta-learning（元学习） 虽然目前很多暴力堆算力堆数据的模型取得了很好的效果，但由于有些数据很难收集到，或者大量的标注耗费人力太多，关于元学习的研究也很多。特别是比如人类往往只需要通过少量数据就能做到快速学习，甚至不需要数据仅仅凭概念就可以完成推理。这种能力基本就属于元学习的范畴，或者机器学习领域中的zero-shot，few-shot learning了，首先看看概念： Meta-learning，元学习。学习怎么去学习。所谓“元”对应着人类在幼儿时期就掌握的对世界的基础知识和行为模式的理解
学习笔记 | Meta Learning（元学习）
LiRongLu_的博客
03-16 1697
元学习Meta Learning，含义为学会学习，即learn to learn，就是带着这种对人类这种“学习能力”的期望诞生的。Meta Learning希望使得模型获取一种“学会学习”的能力，使其可以在获取已有“知识”的基础上快速学习新的任务。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值