Meta-learning核心思想及近年顶会3个优化方向

最新推荐文章于 2023-08-21 17:08:23 发布
最新推荐文章于 2023-08-21 17:08:23 发布
阅读量461 收藏 3
点赞数 1
分类专栏： 深度学习 文章标签： 算法 深度学习 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/fareise/article/details/122955841
版权
本文深入探讨了Meta-learning的概念，包括两层优化视角和任务分布角度的解释，并介绍了MAML模型的原理。同时，文章还讨论了近年来Meta-learning在数据增强、short-horizon bias和自适应超参数等方面的优化研究进展。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

如果觉得我的算法分享对你有帮助，欢迎关注我的微信公众号“ 圆圆的算法笔记”，更多算法笔记和世间万物的学习记录～更多干货都在“ 圆圆的算法笔记”~

Meta-learning可以理解为一种求解问题的工具，下面举一个例子，通俗的说明meta-learning的作用。在正常的machine learning中，需要将数据集分成trainset和testset，模型在trainset上进行训练，在testset上评测效果。但是，在trainset上的训练过程可能导致过拟合，进而引起在testset上效果较差。如何才能设计一种面向testset上效果的训练方法呢？Meta-learning就能达到这个目的。Meta-learning直接评测在trainset训练几轮后的模型在testset上的效果，再使用这个效果作为信号计算并回传梯度，指导模型更新。Meta-learning的learn to learn，相比传统的机器学习，进行了一个两层的优化，第一层在trainset上训练，第二层在testset上评测效果。

本文首先从不同角度介绍对meta-learning的理解，然后进一步介绍meta-learning的典型模型MAML的原理。在此基础上，介绍了5篇近3年的顶会的论文，从3个角度揭示了meta-learning在学术界的优化方向。

1. Meta-learning的不同角度解释

本小节从不同角度理解meta-learning，相关资料可以参考这篇meta-learning的survey，介绍的比较全面：Meta-Learning in Neural Networks: A Survey（2020）。下图给出了论文中对于meta-learning的详细分类。

Meta-learning经常被理解为learn to learn，可以分为两个阶段：内循环和外循环。内循环阶段，模型利用训练样本拟合某个特定任务；在外循环阶段，对外循环的某个目标函数进行优化。内循环和外循环迭代交替进行。在上一节的例子中，在trainset上训练就可以理解为内循环，而评估testset上的效果并以此为信号更新网络参数则可以理解为外循环。内循环的优化目标是trainset的效果，即模型的拟合能力，外循环的优化目标是testset的效果，即模型的泛化能力，也可以理解为外循环以泛化能力作为优化目标。对于meta-learning，从不同的视角也有不同的解释

最低0.47元/天 解锁文章
【大模型学习】第二十章 什么是元学习
电视里爬出的程序员 📺💻 领域王牌： ▶ 数字电视标准解码专家 ▶ 智能监控算法驯兽师 ▶ Linux嵌入式炼金术士 ▶ 人脸识别整活实践家
03-14 780
为了更好地理解元学习的概念，我们可以通过一个简单的例子来说明：假设你正在学习如何烹饪不同种类的食物。每当你尝试制作一种新菜式时，你会根据之前做过的其他菜肴的经验来进行调整——比如调味料的比例、烹饪的时间等。尽管每种食物都有其独特之处，但是你在之前的烹饪过程中积累的经验可以帮助你更快地掌握制作新菜的方法。在这个过程中，你实际上是在进行一种“元学习”：通过对多个任务（即不同的菜肴）的学习，你学会了如何更有效地学习新的任务（即新的菜肴）。这个过程与元学习的核心思想不谋而合。
MetaLearning在元优化中的应用
最新发布
AGI×大数据，开启智能时代的认知跃迁；解码AGI，赋能数据驱动的智能革命。
04-08 845
机器学习和人工智能技术近年来飞速发展,已经广泛应用于各个领域,从计算机视觉、自然语言处理到语音识别等都取得了令人瞩目的成就。但是,在实际应用中我们也面临着一些挑战,比如如何快速适应新的任务,如何有效地利用有限的训练数据,如何提高模型的泛化能力等。Meta-Learning,即学会学习,是近年来机器学习和人工智能领域的一个重要研究方向。它旨在通过学习如何学习,让模型能够快速适应新的任务,提高数据效率和泛化能力。在元优化(Meta-Optimization)领域,Meta-Learning也发挥着关键作用。
Meta Learning（元学习， Learning to Learn）最新具有代表性文章10篇 【是pdf，不是代码，不知为什么名称后面自动加源码下载】
01-01
Meta Learning（元学习，又叫 Learning to Learn）已经成为继Reinforcement Learning之后又一个重要的研究分支。这是Meta Learning领域最新具有代表性的十篇文章，值得精读，相信对机器学习学习者和研究者会有很大启发。
Meta Learning
庞琳卓的博客
09-17 1万+
Meta learning就是learning to learn，字面意思就是学会学习。想一下人是怎么学会学习的： 采用一种学习方法（比如刷题/背题/背概念等）进行学习，然后得到反馈（成绩是否提高），如果是正的反馈（成绩不断提高），说明这种学习方法是有效的。 那么神经网络是如何学会学习的呢？ 采用一种学习方法（对于神经网络来说，就是模型的参数）进行学习，然后得到反馈（误差关于参数的梯度），
Meta_Learning
Multi-Agent_DRL
10-07 235
模型与解释 meta_learning: 输入训练数据, 输出拟合函数()
Meta-learning（元学习）
hxxjxw的博客
08-20 1119
meta-learning是learning to learn meta learning是和machine learning并列的 相较于之前的机器学习算法，meta learning 是让机器学会学习。传统的机器算法只是希望机器学习到一个函数f，通过这个函数f，来判断这个图片属于究竟属于哪个类别，一条微博的评论是正面还是负面。但是meta learning 是希望机器在学习了一些图片分类任务之后，可以学会文本分类的任务。 就是说，我们期待做到的事...
Meta-Learning：MAML
jzwei023的博客
03-14 682
什么是元学习meta-learning 一般的机器学习，由人来设计一套学习算法，然后这个算法会根据一堆样本D_train学习其中的参数。 而Meta Learning做的事情与上述描述不同的地方在于，将其中由人来设计学习方法的过程，改成了由机器来设计一套学习方法。在Meta Learning中的训练资料变为一堆D_train和一堆f的组合，由此来学习F。 再抽象点就是传统机器学习是根据资料找一个函数f的能力。而meta lerning是根据资料找一个找一个函数f的函数F的能力。 现在大致的元
Meta-learning原来有这么多用途，一文汇总元学习在5个问题中的应用
fareise的博客
02-23 2162
本文梳理了业内近几年利用meta-learning解决不同场景问题的顶会论文，涉及meta-learning在域自适应、迁移学习、图学习、正负样本不均衡、知识蒸馏等多个场景的应用
长尾预测效果不好怎么办？试试这两种思路
fareise的博客
09-05 537
长尾预测效果不好怎么办？试试这两种思路
8篇论文详解用户历史行为序列建模方法
fareise的博客
03-13 3405
本文汇总了8篇推荐系统中对用户历史行为序列建模的方法，包括DIN、DIEN等经典模型。
Deep Meta Learning
啊哈的专栏
09-03 1244
  智能单元第100篇 最前沿：解读ICLR 2018 Best Paper：基于Meta Learning在动态竞争环境中实现策略自适应 https://zhuanlan.zhihu.com/p/35695477     Deep Meta Learning for Real-Time Visual Tracking based on Target-Specific Feature S...
Model-Agnostic Meta-Learning for Fast Adaptation of Deep Networks
08-15
Model-Agnostic Meta-Learning for Fast Adaptation of Deep Networks
meta learning 第二章
01-17
meta learning 第二章,算是比较系统的meta learning 教材，基本上介绍了什么是元学习。
元学习（meta learning）综述论文（2020年）
04-17
元学习旨在学会学习，是当下研究热点之一。最近来自爱丁堡大学的学者发布了关于元学习最新综述论文《Meta-Learning in Neural Networks: A Survey》，值得关注，详述了元学习体系，包括定义、方法、应用、挑战，成为不可缺少的文献。
【机器学习】Meta-Learning（元学习）
热门推荐
weixin_44211968的博客
11-14 1万+
文章目录前言从传统学习引出元学习对比机器学习和元学习如何实现元学习参考链接 前言 元学习Meta Learning，含义为学会学习，即learn to learn，带着对人类的“学习能力”的期望诞生的。Meta Learning希望使得模型获取一种 “学会学习” 的能力，使其可以在获取已有“知识”的基础上快速学习新的任务。 从传统学习引出元学习 传统的机器学习方法是针对一个特定的，一般是有大量数据的数据集 ，试图学习出一个预测模型 ，使得模型对于测试集上的数据的预测有最小的误差。这个思路在数据集 D
Meta-Learning-Based Deep Reinforcement Learningfor Multiobjective Optimization Problems 阅读笔记
xiaochen_hzau的博客
01-09 504
Meta-Learning-Based Deep Reinforcement Learningfor Multiobjective Optimization Problems
元学习（Meta Learning）
xinxin的博客
08-21 1万+
你带小朋友去动物园，小朋友看到水里面有一只毛茸茸的小动物，他从来没有见过这种动物，所以他想知道这种动物是什么，虽然小朋友没有见过这种动物，但是他学过如何区分动物，他有自主学习的能力。现在你给他一堆卡片，每张卡片上有一个动物的图片和动物的名字，小朋友既没有见过眼前水里面的动物，也没有见过这些卡片上的动物，但是小朋友很聪明，他把卡片翻一遍，就知道自己眼前看到的动物是水塔了。而多任务学习是基于多个不同的任务同时进行损失函数优化，它的学习范围只限定在这几个不同的任务里，并不具学习的特性。
元学习Meta-Learning
Closure
12-09 553
1. Introduction 通常在机器学习里，我们会使用某个场景的大量数据来训练模型；然而当场景发生改变，模型就需要重新训练。但是对于人类而言，一个小朋友成长过程中会见过许多物体的照片，某一天，当Ta（第一次）仅仅看了几张狗的照片，就可以很好地对狗和其他物体进行区分。 元学习Meta Learning，含义为学会学习，即learn to learn，就是带着这种对人类这种“学习能力”的期望诞生的。Meta Learning希望使得模型获取一种“学会学习”的能力，使其可以在获取已有“知识”的基础上快速学习
matlab meta-learning
09-12
那么，MATLAB meta-learning是指在MATLAB环境下进行meta-learning的实践和应用。 在MATLAB中，可以利用丰富的机器学习工具箱和函数，实现不同的meta-learning算法。首先，可以使用MATLAB提供的数据预处理函数来准备...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值