Matching Networks for one Shot Learning 阅读笔记

最新推荐文章于 2024-07-09 22:09:52 发布
最新推荐文章于 2024-07-09 22:09:52 发布
阅读量1.1w 收藏 10
点赞数 1
分类专栏： AI
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/feitianlzk/article/details/79455317
版权
本文是关于Matching Networks在one-shot学习的应用的阅读笔记，介绍了该模型如何通过加权平均方法实现快速、小样本的训练。文章探讨了模型的优势，如使用set建模和注意力机制，以及面临的挑战，如新任务与训练数据分布差异大的问题。此外，还提到了content-based attention和set2set框架，并讨论了它们在解决向量集合相似度问题中的应用。
摘要由CSDN通过智能技术生成

Conclusion

parametric vs metric
karpathy很好的paper notes

Advantages
  1. 使用加权平均(metric)方法去做few-shot,优点: 速度快，需要训练量小
  2. 将对S的训练加入模型 pθ(y|x,S) p θ ( y | x , S ) ，具体做法是:分成task(或称为训练集)去训练, 每次选择一些类别L(label sets), 然后从中选取支持集S和batch进行训练
  3. 对f使用了set(unordered data)建模的方式
Disadvantages:
  1. 必须保证类别多？每个类别数据可以少。待验证
  2. 文末的几个questions
  3. 新的task和原有数据分布差异过大会有问题(论文中提出), 即 θ θ 分布不同
总结
  1. 一个可微分的end2end的KNN网络
  2. 重点在如何建模一个好的embedding函数(特征提取函数)
    • f: f(x̂ ,S) f ( x ^ , S ) , 基于set2set LSTM
    • g: g(xi,S) g ( x i , S ) , 基于bi-LSTM
      a
      b

Others

content based attention

Ref: 知乎过拟合的回答
建模一个向量和一个向量集合相似度的问题
从向量集合 v v 中选取一个和给定向量u相似的状态 v i

  • 方法一: 最邻近

    • 逐个计算相似度 ai a i ，从 v v 中选取和 u 最相似的 vi v i
    • 如果有大量相似度相近的 ai a i ，只选取一个 vi v i 只能保留一个向量，会丢失大量信息

  • 方法二: 平均

    • 对 v v 中向量进行平均得到 v m ，计算最终相似度
    • 如果
最低0.47元/天 解锁文章
feitianlzk
关注
专栏目录
Matching Networks for One Shot Learning论文解读
migue_math
03-07 2825
这篇文章在元学习领域笔记重要，之前一直想读，这次正好有机会就把它给刷了。 本篇论文属于小样本学习领域，但是本篇论文中的Matching Networks常被用于与Meta-learning任务中的方法进行比较。这篇论文出自Google DeepMind团队，发表于2016年。 1 Motivation 人类可以可以通过非常少量的样本学习到一个新的概念，比如一个小孩子看完一张长颈鹿的照片之后就认识了...
Matching Networks for One Shot Learning代码思路解读
sophicchen的专栏
04-28 395
目录 1.代码中所有Classes和类之间的调用关系 2. 代码思路解析 2.1 代码的入口 2.2 数据读取 2.2.1 读取train，evaluation和test图片至变量data中。 2.2.2 设计one shot learning的学习过程 2.2.3 真实数据的one shot learning过程 3. 代码思路的图形表示 1.代码中所有Classes和类之间的调用关系 如下： 表1 代码中所有class和调用关系 类 调用类 再调用类 所在文..
Matching Networks for One Shot Learning
追随梦想，实现梦想
10-09 1674
Andrej Karpathy关于这篇论文的读文笔记 论文笔记：Matching Networks for One Shot Learning  
2017BMVC: One-Shot Learning for Semantic Segmentation
最新发布
weixin_43864494的博客
07-09 609
小样本图像语义分割；人工智能；计算机视觉
Siamese-Network-for-One-shot-Learning:训练神经网络的项目，仅举一个例子
05-24
使用基于内核的激活功能为一击学习改善暹罗网络（ ） 人类通过很少的示例学习新事物，例如，一个孩子可以从一张图片中概括“狗”的概念，但是机器学习系统需要大量示例来学习其功能。 特别是当受到刺激时，人们似乎能够快速理解新概念，然后在将来的感知中认识到这些概念的变体。 机器学习作为一个领域已经在各种任务（例如分类，Web搜索，图像和语音识别）上取得了巨大的成功。 但是，这些模型通常在低数据情况下效果不佳。 ' 这是一次射击学习背后的主要动机。 用较少的示例训练模型，但无需大量重新训练即可将其推广到不熟悉的类别。 引文 如果您发现我们的代码有用，请考虑使用bibtex引用我们的工作： @incollection{jadon2021improving, title={Improving Siamese Networks for One-Shot Learning Using Kerne
Matching Networks for One Shot Learning论文
Dream_xd的博客
04-16 448
文章目录摘要引言模型模型架构Full Context EmbeddingsThe Fully Conditional Embedding fThe Fully Conditional Embedding gTraining StrategyRelated work实验ImageNet参考 论文：Matching Networks for One Shot Learning 地址：https://...
Matching Networks for One Shot Learning 论文笔记
qq_30146937的博客
03-17 397
前言 人类可以从很少的样本中获取新的概念，比如一个小孩儿能从书中的一张图片知道什么是长颈鹿。但是对于深度学习系统来说，要学习一个新的类别需要成百上千的样本。因此对one-shot learning的研究就变得非常重要。什么是one-shot learning呢？也就是让系统能从很小一部分的带标记的样本中学习一个新类别。 深度学习一般需要较大型的数据集，当数据集变小时，会产生过拟合问题，数据增强和正...
论文阅读笔记 Prototypical Networks for Few-shot Learning
jieming2002的博客
09-04 1884
小样本学习的原型网络 论文原文链接：https://arxiv.org/abs/1703.05175 摘要 作者提出了一种小样本分类问题的原型网络，在这种网络中，分类器必须推广到训练集中没有的新类别，每个新类别只有少量样例。该原型网络学习一个度量空间，通过计算每个类的原型表示的距离进行分类。与最近的小样本学习方法相比，该方法反映出更简单的归纳偏好，这有益于这种有限数据的状况，因此取得了出色的效果。作者给出的分析表明，某些简单的设计决定能够产生实质的改进，超过了最近的方法，包括复杂的架构选择和元学习。作者把该
One shot learning-Siamese Networks
weixin_42388228的博客
05-21 663
One single image (neural networks don’t work well given one training example) (Such a small training set is really not enough to train a robust neural network) (If softmax, need to retrain every time ...
Graph_Matching_Network-Pytorch:图匹配网络的Pytorch实现
03-17
Graph_Matching_Network-Pytorch 图匹配网络的Pytorch实现
Matching Networks for One Shot Learning （用于 One Shot Learning 的匹配网络）
CaoChengtai的博客
06-27 4533
目录1. 摘要2. 介绍3. 模型3.1 模型架构3.1.1 注意力机制内核3.1.2 完全上下文 embedding3.2 训练策略4. 其他6. 论文链接 1. 摘要 从少数几个样本中学习依然是机器学习 (Machine Learning, ML) 所面临的一个关键性挑战。尽管标准的有监督深度学习范式已经在视觉和语言等领域取得了重大的进展，但是它无法在根据很少的数据快速学习新概念的问题上提供一...
Matching Networks for One Shot Learning 解读
追随梦想，实现梦想
09-27 8129
阅读原文点我 Abstract In this work, we employ ideas from metric learning based on deep neural features and from recent advances that augment neural networks with external memories. Our framework learns...
sqlserv已生成用于更新的结果集。_ML.NET API 和工具八月更新
weixin_39892800的博客
12-10 339
ML.NET是一个开源的跨平台机器学习框架，适合 .NET 开发人员。它允许将机器学习集成到 .NET 应用中，而无需离开 .NET 生态系统。ML.NET工具(Visual Studio 中的模型生成器 UI 和跨平台 ML.NET CLI)，可根据您的场景和数据自动训练自定义机器学习模型。在八月官方发布了ML.NET 1.5 和 1.5.1 以及新版本的模型生成器。其中包括了Bug修...
Matching Networks for one shot learning阅读笔记
小新
11-13 1166
小样本-Matching Networks for one shot learning阅读笔记 few/one-shot learning 顾名思义，就是通过少量的样本去训练和学习。 我们人类非常善于通过极少量的样本去识别一个新事物，比如小孩子只需要书中的一张图片就可以认识什么是“长颈鹿” 。 但是现在的主流的深度学习技术需要大量的数据来训练一个好的模型。比如典型的MNIST分类问题，其中包含60000个样本，十个类别(0-9是个数字)，但是我们想一下我们人类自己，我们区分 0 到 9 的数字显然不需要这么
Neural Architecture Search: A Survey论文阅读
BshoterJ的博客
02-14 667
Neural Architecture Search: A Survey论文阅读 ...
Understanding and Simplifying One-Shot Architecture Search翻译
nopSled
09-09 869
摘要 自动化神经网络结构设计越来越受到研究人员的关注。现有的结构搜索方法在计算上可能是昂贵的，需要从头开始训练数千种不同的结构。最近的工作探索了在各个模型之间进行权重共享，以减少训练成本。尽管以前的方法将结构搜索的成本降低了几个数量级，但它们仍然很复杂，需要hypernetworks或强化学习控制器。我们旨在了解one-shot结构搜索的权重共享。通过仔细的实验分析，我们表明可以从复杂的搜索空间中高效识别有效的网络结构，而无需使用hypernetworks或RL。 1.介绍 　　设计神经网络是一项劳动密集
元学习之《Matching Networks for One Shot Learning》代码解读
seeker的博客
02-02 2818
前言 此篇是 metric-based metalearning 的第一篇，所谓 metric-based 即通过某种度量方式来判断测试样本和训练集中的哪个样本最相似，进而把最相似样本的 label 作为测试样本的 label，总体思想有点类似于 KNN。 Matching Network 此篇论文的核心思想就是构造了一个端到端的最近邻分类器，并通过 meta-learning 的训练，可以使得该分类器在新的少样本任务上快速适应，并对该任务的测试样本进行预测。下图是 Matching Network 的网络
matching networks for one shot learning
03-16
Matching networks 是一种用于一次学习的深度学习模型。它的目的是通过匹配样本的特征来识别一张图像中的目标。它的主要思想是在查询图像和样本图像之间建立关联，从而使得模型能够准确识别目标。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值