论文阅读问题总结(五)：Task-Agnostic Meta-Learning for Few-shot Learning

最新推荐文章于 2022-10-15 22:36:13 发布
最新推荐文章于 2022-10-15 22:36:13 发布
阅读量311 收藏 4
点赞数
分类专栏： 科研论文 文章标签： 机器学习 深度学习 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_32599109/article/details/115126725
版权

1.本文作者提出了什么问题？

当前基于梯度的元学习方法(MAML, Reptile)虽然针对模型学习到了可以泛化到不同task的初始化参数，但作者指出学习到的初始化参数并不是针对各个task都可以很好地泛化，对与training task相似的task可以快速泛化且perform well，但对一个与training task相似度较低的new task并不一定能很好地泛化。总而言之学到的初始化参数模型是一个有偏(biased)的模型。

2.针对上述问题，作者提出的解决思路？

1.outer-loop设计一个正则化项元学习一个无偏的初始化模型以避免模型在一些task上over-performed。
2.outer-loop设计一个正则化项在学习初始化参数的同时降低模型在各个task上的性能度量的不平等性。
总的目的是对未知task都具有很好地泛化性(unbiased)。

3.作者针对自己的思路设计的正则化项以及给出的具体算法？

1.在使用MAML或Reptile学习初始化参数的同时outer-loop的loss function中加入正则化项，这个正则项使得模型向着最大化具体任务中每个样本分类的熵的方向进行初始化参数的学习。
假设是5-way的小样本学习，学习初始化参数时使初始化参数不仅沿着loss的方向更新，还沿着(初始化参数)对task中的样本输出的概率分布趋向于平均(eg: 0.2, 0.2, 0,2, 0.2, 0.2)的方向更新。
在这里插入图片描述
如上图，算法在原MAML方法的基础之上加了正则化项，这个正则化项的作用是使得初始化

最低0.47元/天 解锁文章
炼丹师祖
关注
  • 0
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Meta-Transfer Learning for Few-Shot Learning 论文笔记
qq_30146937的博客
04-13 2438
前言 元学习（meta-learning）是目前广泛使用的处理小样本学习问题的方法，它的目的是在学习不同任务的过程中积累经验，从而使得模型能够快速适应新任务。比如在MAML（Model-Agnostic Meta- Learning）中，通过搜寻最优初始化状态，使得base-learner能够快速适应新任务。但是这一类元学习方法具有两个缺点： 需要大量相似的任务以进行元训练（meta-train...
Task-Agnostic Meta-Learning for Few-shot Learning 论文笔记
qq_30146937的博客
03-26 1121
前言 最近越来越多的工作使用元学习来处理小样本学习问题。一般来说，元学习模型包括两部分：初始模型和更新策略，其中初始模型是在大量任务上进行训练得到的，更新策略是为了使初始模型能够适应一个只有少量样本的新任务。所以元学习的目标就是，能够自动学习初始模型和更新策略的最优参数，从而使得模型能够泛化到各种其它任务上。 然而，现有的元学习方法存在一个普遍问题，就是初始模型在训练时可能对某些任务有偏差，即更偏...
论文解读：Task Agnostic Meta-Learning for Few-shot Learning（TAML）
夏栀的博客
04-26 1323
论文解读：Task Agnostic Meta-Learning for Few-shot Learning（TAML）   通常的，元学习可以被在多个任务（task）上训练以期望能够泛化到一个新的task。然而当在现有的task上过度地学习（过拟合），在新的task泛化能力会变差。换句话说，初始的meta-learner在现有的task上会学习到有偏的知识（bias），特别是样本数量非常少的情况下。为了避免在样本数量非常少时，meta-learner会学习到有偏的信息，本文提出一种Task-Agnosti
Task-Agnostic Meta-Learning
qq_33778339的博客
06-27 2448
近一段时间来，元学习（Meta-Learning）在深度学习领域获得了广泛的关注。与大部分其他的机器学习算法相比，元学习最突出的特定是“Learning to Learn”，即用机器学习的方法去学习训练方法。比如，基于梯度下降的训练算法，它有两个在传统机器学习框架下不可学习的超参数：1）初始的模型参数；2）每步的更新步长。一方面，模型参数往往通过随机初始化来实现。但由于大部分深度学习模型都是非凸的...
VLM: Task-agnostic Video-Language Model Pre-training for Video Understanding
afanti_1的博客
04-16 1073
VLM: Task-agnostic Video-Language Model Pre-training for Video Understanding VLM：用于视频理解的任务无关的视频语言模型预训练
008 Task-Agnostic Privacy-Preserving Representation Learning via Federated Learning（隐私对抗训练PAT）
Uzz_yuzaizai的博客
06-28 422
借助联邦学习的任务不可知的隐私保护 方法：PAT（隐私对抗训练）算法，从特征中隐藏隐私信息（模拟了努力从提取的特征中推断隐私属性的对手和旨在保护用户隐私的防御者之间的博弈）——>提出MaxMI算法保留原始信息（目的是最大化原始数据特征之间的相互信息，以及私有信息与保留信息之间的联合）...
论文解读VLM: Task-agnostic Video-Language Model Pre-training for Video Understanding
qq_41932160的博客
03-04 1078
简介 vlm是一个task-agnostic multi- modal pre-training approach。无特定任务的多模态预训练方法。用于视频理解。主要贡献如下： In summary, the main contributions of this paper are as follows: (1) we propose to pre-train a task- agnostic encoder for video understanding; (2) we introduce masked m
MAML Model-Agnostic Meta-Learning for Fast Adaptation of Deep Networks学习笔记.docx
02-20
MAML Model-Agnostic Meta-Learning for Fast Adaptation of Deep Networks学习笔记 元学习是一种机器学习算法，它可以让模型在新的任务中快速学习和适应，仅使用少量的训练样本。元学习的目标是使用大量的学习任务...
论文笔记—Probabilistic Model-Agnostic Meta-Learning.pdf
07-21
论文摘要：元学习仅需少量学习就可以获取先前的先前任务和经验，从而可以从少量数据中学习新任务。但是，短镜头学习中的一个关键挑战是任务模糊性：即使可以从大量先前任务中元学习强大的先验知识，但用于新任务的小...
Model-Agnostic Meta-Learning for Fast Adaptation of Deep Networks
08-15
综上所述，《Model-Agnostic Meta-Learning for Fast Adaptation of Deep Networks》所提出的MAML算法为解决快速适应问题提供了一个强大的工具。它不仅具有广泛的适用性，还能在有限的数据量下实现高效的模型训练。...
task_adaptation
05-04
视觉任务适应基准（VTAB） 该存储库包含用于评估一系列具有挑战性的下游视觉任务的视觉模型的代码，这些任务来自多个领域：自然图像，人工环境（结构化）和使用非标准相机捕获的图像（专业化）。 这些任务与我们的评估协议一起构成了VTAB ，是Visual Task Adaptation Benchmark的缩写。 VTAB基准包含以下19个任务，这些任务是从公共数据集中派生的： 小NORB方位角预测 小NORB高程预测 SUN397 SVHN 我们的基准测试期望将经过预训练的模型作为输入。 该模型应作为集线器模块提供。 给定的模型经过独立微调，可以解决上述20个任务中的每一个。 所有任务的平均准确度用于衡量模型的性能。 所有任务的详细说明，评估协议和其他详细信息可以在VTAB论文中找到。 安装 您可以通过运行以下命令来安装库和所有必需的依赖项： pip install -e . 从
元学习综述，meta learning，A Survey of Zero-Shot Learning + poster
07-09
元学习，又称Meta-Learning，是一种机器学习方法，旨在通过在不同任务或环境中学习到的通用知识，使模型能够快速适应新的、未见过的任务。这种技术尤其受到关注，因为它能够解决传统机器学习方法中需要大量标注数据...
论文解读 MTL-NAS: Task-Agnostic Neural Architecture Search towards General-Purpose Multi-Task Learning
lftxd1的博客
10-15 360
MTL_NAS
【阅读笔记】Meta-Learning with Task-Adaptive Loss Function for Few-Shot Learning-ICCV-2021
靓仔博客
01-14 2201
在少样本学习场景中，挑战在于当每个任务只有很少的标记示例可用时，在新的未见示例上泛化并表现良好。与模型无关的元学习（MAML）因其灵活性和对各种问题的适用性而成为具有代表性的少样本学习方法之一。然而，MAML 及其变体通常采用简单的损失函数，而没有任何辅助损失函数或正则化项来帮助实现更好的泛化。问题在于每个应用和任务可能需要不同的辅助损失函数，特别是当任务多样化和不同时。我们没有尝试为每个应用程序和任务手动设计辅助损失函数，而是引入了一个新的元学习框架，该框架具有适应每个任务的损失函数。我们提出的框架名为
论文阅读-2 | Meta-Learning with Task-Adaptive Loss Function for Few Shot Learning
qq_44924407的博客
08-17 1255
用于小样本学习的基于任务自适应损失函数的元学习
MobileBERT: a Compact Task-Agnostic BERT for Resource-Limited Devices（2020-4-6）
weixin_49346755的博客
10-14 412
近年来，自然语言处理(NLP)通过使用具有数亿个参数的巨大预训练模型取得了巨大的成功。然而，这些模型受到沉重的模型尺寸和高延迟的影响，因此无法部署到资源有限的移动设备上。因此这里提出了MobileBERT来压缩和加速流行的BERT模型。与原始的BERT一样，MobileBERT是任务不可知论的，也就是说，它可以通过简单的微调通用地应用于各种下游NLP任务。基本上，MobileBERT是BERTLARGE​的精简版，同时配备了瓶颈结构和精心设计的在自注意和前馈网络之间的平衡。
论文阅读笔记《MetAdapt: Meta-Learned Task-Adaptive Architecture for Few-Shot Classification》
深视
08-01 928
核心思想   本文提出一种基于神经网络结构搜索（NAS）的小样本学习算法（MetAdapt），整体的思路其实与直接解读过的一篇文章《Meta-Learning of Neural Architectures for Few-Shot Learning》非常相似，但在一些具体的实现方法上还是各有特色的。首先，作者也是采用了经典的可微分NAS算法DARTS对网络结构进行搜索；为了适应小样本学习任务，作者在此基础上提出了MetAdapt Controllers结构，用于调整每个操作的权重系数；最后，作者采用了两级
论文阅读总结(七)：DeepXDE: A Deep Learning Library for Solving Differential Equations
qq_32599109的博客
05-10 2905
这篇文章是关于深度学习求解偏微分方程的内容，作者对PINN(Physical Informed Neural Network)一文提出的方法进行了归纳总结，从理论层面分析了PINN解偏微分方程的可行性以及提出了改善PINN训练效率的方法，并对PINN与传统的有限元素法(FEM)进行了比较，最后作者将PINN做成了一个名为DeepXDE的python库。 PINN算法和理论分析： 深度神经网络： 深度神经网络在数学层面可以理解为一个复合函数，最简单的神经网络是前馈神经网络，本文求解偏微分方程使用的前馈神经网络
model-agnostic meta-learning for fast adaptation of deep networks
最新发布
03-16
Model-agnostic meta-learning for fast adaptation of deep networks（MAML）是一种元学习算法，可以通过学习如何快速适应新任务来改进深度神经网络的性能。与其他传统的深度学习方法不同，MAML不是针对特定的任务...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值