meta-learning的新的理解---以Relation Network为契机的新的感触

最新推荐文章于 2024-07-27 10:57:42 发布
最新推荐文章于 2024-07-27 10:57:42 发布
阅读量2.5k 收藏 3
点赞数
分类专栏： algorithm
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/DeepMatter/article/details/80602355
版权
本文探讨了通过Relation Network模拟人类区分物体的过程，将embedding module与relation module相结合，其中relation module用于计算待测样本间的关系，区别于传统模型的距离度量方式。该模型展示了元学习的核心——学习度量能力，拓展了元学习的应用范围，包括学习模型初始化、超参数、优化器和网络结构等。
摘要由CSDN通过智能技术生成

这里写图片描述

  • 下面给出本文的核心模型图

这里写图片描述

  • 本文的核心价值：

    模拟人在区分物体的过程，比如iPhone和其他安卓机的区别，一个人会找，看哪个手机有空气刘海，ok，这个有，那它就是iPhone咯！
    这里边有两个过程，一个是人脑中的空气刘海—这个是人对于手机所提取到的特征；另一个是，ok，这个有，就做出它是iPhone的判断—这对应着人用先前提取的特征来在待测样本中判断待测样本和这个特征关系的过程。
    文章的embedding module就对应上面的第一个过程；relation module就对应上面的第二个过程。
    可以看出，本文的embedding module其实和matchnet或者prototype是一样的，不论从结构还是作用上来看都是！
    本文的创新点在与relation
    module！用来描述和计算待测样本间的关系，利用这些关系进行分类。BUT，关系的说法太过抽象，具体来说，relation
    module就是用来算query样本和support样本间的距离的。这个距离不是我们定义的，而是模型自己学到的，这有别于matchnet和prototype！它们的关系网络分别对应于cosine距离和欧式距离，是手工设计的一种度量。

最后是关于这个模型带个我关于元学习的启发吧：该模型学习到了一种度量。这种学习度量的能力，正是元学习的体现！与此对应的还有：学习模型初始化参数、学习模型超参数、学习模型优化器以及学习模型网络结构等。只要是模型能自己学到的东西，都属于元学习的范畴，它的典型特征你就是非人手工设计或者提取的！

DeepMatter
关注
专栏目录
PVEN改进基于关系网络
nini_k的博客
07-21 355
先实现一个简单的关系网络 def dense_to_one_hot(labels_dense, num_classes): """Convert class labels from scalars to one-hot vectors.""" num_labels = labels_dense.shape[0] index_offset = np.arange(num_labels) * num_classes labels_one_hot = np.zeros((num_label
Relation Net阅读笔记
Dreamcreationman的博客
12-18 525
Relation Net阅读笔记 Sung F, Yang Y, Zhang L, et al. Learning to compare: Relation network for few-shot learning[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2018: 1199-1208. 乱扯 这篇文章叫Relation Network，今天早上醒来一看群里，今天组会分享的同学
元学习领域的prototype介绍
最新发布
m0_67832368的博客
07-27 842
在元学习框架下的原型(prototype)可以被用作快速适应新任务的关键。prototype通过在不同任务上训练实现对支持集(support set)中的新样本进行特征学习，提炼新样本信息，在不干扰既有检测模型参数的情况下以诸如挂件的形式植入检测框架中，有效避免了原模型的退化和重头训练的资源损耗，实现对新旧样本的高准确度检测.
【机器学习】Meta-Learning（元学习）
weixin_44211968的博客
11-14 1万+
文章目录前言从传统学习引出元学习对比机器学习和元学习如何实现元学习参考链接 前言 元学习Meta Learning，含义为学会学习，即learn to learn，带着对人类的“学习能力”的期望诞生的。Meta Learning希望使得模型获取一种 “学会学习” 的能力，使其可以在获取已有“知识”的基础上快速学习新的任务。 从传统学习引出元学习 传统的机器学习方法是针对一个特定的，一般是有大量数据的数据集 ，试图学习出一个预测模型 ，使得模型对于测试集上的数据的预测有最小的误差。这个思路在数据集 D
通俗讲解元学习（Meta-Learning）
AI研究院
06-11 7891
元学习通俗的来说，就是，有时候掌握学习的方法比刻苦学习更重要！下面我们进行详细讲解。
元学习概述（Meta-Learning）
热门推荐
一只攻城狮的博客
01-14 3万+
转载自： 凉爽的安迪-深度瞎学 一文入门元学习（Meta-Learning） 写在前面：迄今为止，本文应该是网上介绍【元学习（Meta-Learning）】最通俗易懂的文章了（ 保命），主要目的是想对自己对于元学习的内容和问题进行总结，同时为想要学习Meta-Learning的同学提供一下简单的入门。笔者挑选了经典的paper详读，看了李宏毅老师深度学习课程元学习部分，并附了MAML的代码。为了通俗易懂，我将数学推导和工程实践分开两篇文章进行介绍。如果看不懂，欢迎来捶我（ ）~~如果大家觉得有帮...
Meta-learning with latent embedding optimization【论文笔记】
Xie_learning的博客
07-17 1591
Gradient-based meta-learning techniques are both widely applicable and proficient at solving challenging few-shot learning and fast adaptation problems. However, they have practical difficulties when operating on high-dimensional parameter spaces in extrem
论文阅读问题总结(二)：Meta-Learning With Latent Embedding Optimization
qq_32599109的博客
03-18 682
1.本文提出得主要想解决的问题是什么？ 作者在本文中提到了基于梯度的元学习技术(尤其是学习到公共初始化参数随后通过调整初始化参数来适应特定任务的元学习方法：MAML, Reptile)使用特定任务的小样本数据集来通过梯度下降调整高维参数使得泛化困难(我的理解是小样本调整高维参数的适应过程容易过拟合)。 2.本文作者试图如何解决上述问题？ 1.设计模型使每个待解决的特定任务的初始化参数与此任务的训练集相关，使用Relation Network将每个任务的初始化参数引入数据集之间的相关性。 2.学习一个高维模型
Learning to Compare: Relation Network for Few-Shot Learning
wohoo~
07-27 1091
Relation Network
Meta-learning：Learn to learn
weixin_42443072的博客
04-14 265
【基于李宏毅教授的ML课程做的笔记】 为什么few-shot任务常常提及meta-learning？在后续分析能体会到meta-learning有train task、test task，要训这么多任务，自然数据量小一点好，和few-shot任务就很接近了。 一、理解Learn to learn 整体考虑下面的图，我们熟悉的学习是不断地更新网络参数，但其实网络结构、初始参数的设置、参数的更新策略（SGD的learning rate），也许都可以让机器学习，而不用人来设计。 Meta learnin
Python-Pytorch实现论文LearningtoCompareRelationNetworkforFewShotLearning
08-11
《Python-PyTorch实现论文：Learning to Compare：Relation Network for Few-Shot Learning》 在当前的机器学习领域，特别是深度学习中，泛化能力是衡量模型性能的关键指标。然而，传统的机器学习方法通常需要大量...
元学习综述，meta learning，A Survey of Zero-Shot Learning + poster
07-09
元学习综述，meta learning，A Survey of Zero-Shot Learning，新加坡南洋理工
元学习（meta learning）综述论文（2020年）
04-17
元学习旨在学会学习，是当下研究热点之一。最近来自爱丁堡大学的学者发布了关于元学习最新综述论文《Meta-Learning in Neural Networks: A Survey》，值得关注，详述了元学习体系，包括定义、方法、应用、挑战，成为不可缺少的文献。
从零开始，元学习入门
Raymond_Love的博客
10-26 2018
最近开始研究元学习，目前正在从2020年的两篇综述入手，争取对元学习的概念、研究现状等内容有一个初步的认识。这里，简单记录一下自己的阅读笔记，供大家参考学习，不足之处欢迎指正。 参考论文： 1. Huisman, Mike, Jan N. van Rijn, and Aske Plaat. "A Survey of Deep Meta-Learning."arXiv preprint arXiv: 2010.03522. 2.Hospedales, Timothy, et al. "Meta-l..
神经网络中的元学习研究
yaoxunji的博客
06-26 2349
Meta learning（Learning to learn）在近几年的研究中受到了越来越多的关注。Meta learning的目标旨在改善学习算法本身，让模型更精通学习。从Meta learning的定义、分类、应用以及挑战四个方面来对当前meta learning环境进行介绍。
Meta Learning | 加了元学习之后，少样本学习竟然可以变得这么简单！
zenRRan的博客
12-21 881
每天给你送来NLP技术干货！文 | Rukawa_Y编 | Sheryc_王苏，小轶来自 | 夕小瑶的卖萌屋去年年初 GPT-3 的论文在 arxiv 上出现，论文名为 “Language...
RelationNetwork
weixin_43489950的博客
02-22 545
论文：Relation N...
AAAI顶会行人重识别算法源码解读——Relation Network for Person Re-identification
qq_52053775的博客
03-19 1117
在这里我们使用的是清华大学的行人重识别数据集market1501。数据集的目录如下，images文件夹下是所有的行人图片。poses文件夹下是姿态估计的标签文件（有行人重识别的研究首先进行姿态估计，然后再获得行人的特征表示）。meta.json文件夹下是存放的每个人在6组摄像头的图片。splits文件夹下是数据集的划分方式。json在构建数据集dataloader时需要使用image文件夹下，图片的命名规则如下，如00000000_0001_00000011。
元学习：实现通用人工智能的关键！
weixin_33712987的博客
08-23 2611
1 前言 Meta Learning（元学习）或者叫做 Learning to Learn（学会学习）已经成为继Reinforcement Learning（增强学习）之后又一个重要的研究分支（以后仅称为Meta Learning）。对于人工智能的理论研究，呈现出了 Artificial Intelligence --> Machine Lear...
learning to compare: relation network for few-shot learning
06-28
### 回答1： "Learning to Compare: Relation Network for Few-Shot Learning" 是一篇关于Few-Shot Learning（小样本学习）的论文，提出了一种称为“关系网络”的新型神经网络架构。 该网络旨在解决小样本学习中的问题，该问题通常会导致在只有极少量的训练样本的情况下，模型的泛化性能下降。关系网络使用一个子网络来提取图像特征，并通过计算这些特征之间的关系来对它们进行分类。 关系网络的特点是它在执行分类任务时能够捕捉物体之间的关系和上下文信息，因此在少量样本的情况下，它的性能比其他方法更好。该网络已经被广泛应用于小样本学习领域，并在多项实验中获得了优秀的表现。 ### 回答2： 本文主要介绍了一种基于关系网络的few-shot学习方法——Relation Network（RN）。Few-shot学习是一种类别识别的任务，旨在从非常少量（通常是几个）的样本中学习新的类别。RN为此提供了一种强大的框架，可以在few-shot学习中能够有效地捕捉物体之间的关系，从而实现精确的类别识别。 RN在模型设计中引入了两个重要的组件：特征提取器和关系网络。特征提取器通常是卷积神经网络（CNN），它可以提取出每个样本的特征表示。关系网络的作用是计算出每对样本之间的关系，将这些关系汇总到一起，最终出现样本之间的相对关系。在计算样本之间的关系时，RN采用的是一种全连接神经网络，它对每一对样本的特征进行融合，然后输出一个特定类别的置信度。 值得注意的是，RN的关系网络不仅可以使用在few-shot学习中，也可以应用于全局分类问题。此外，RN采用了一些有效的技巧来加速测试阶段的推理速度，比如使用浅层矩阵乘法以减少计算量，和简单的欧氏距离作为度量衡量。 总而言之，RN是一种强大的学习方法，特别是在few-shot学习方面，可以实现更好的判别性能和更准确的类别识别。不过，同时也存在一些限制，比如需要更多的数据集来训练样本的特征提取器，以及容易出现过拟合问题。因此，RN还需要进行更深入的研究和优化，以实现更大范围的应用和实际效果。 ### 回答3： 学习比较：关系网络是一种少样本学习的方法，旨在解决少样本学习问题中的挑战。传统的机器学习方法需要大量数据来训练模型。而在现在许多领域，例如医疗诊断和工业生产，只有很少的数据可用于训练模型。在这种情况下，少样本学习就变得非常重要。学习比较：关系网络是少样本学习的一种新方法，它通过学习对象之间的关系来捕捉它们之间的相似性和差异性。 学习比较：关系网络包含两个部分：特征提取器和关系网络。特征提取器将输入图像转换为对应的向量表示，而关系网络则对这些向量进行比较，从而推断它们之间的关系。关系网络可以用来处理各种不同的问题，例如分类、回归和生成等。 学习比较：关系网络的优点是，它可以利用少量的数据来学习，并且可以在不同的任务之间共享知识。这使它成为处理少样本学习问题时的一个有力工具。在实际应用中，学习比较：关系网络已经被广泛应用于图像分类、目标检测和语音识别等领域，并产生了许多显著的结果。未来，随着越来越多的研究者开始使用这种方法，我们可以期待看到更多的成功案例，并进一步将学习比较：关系网络应用到更广泛的领域，以帮助人们解决难题并改善生活质量。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值