DN4:＜Revisiting Local Descriptor based Image-to-Class Measure for Few-shot Learning＞论文阅读笔记

最新推荐文章于 2023-10-05 17:16:23 发布
最新推荐文章于 2023-10-05 17:16:23 发布
阅读量2.9k 收藏 6
点赞数 2
文章标签： 计算机视觉 深度学习 分类 图像处理
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_61945533/article/details/124119624
版权

文章目录

小样本图像分类

1.什么是小样本图像分类？
小样本图像分类能够利用的少量样本, 即一个或者几个样本进行图像分类.
2.为什么要小样本图像分类？
一是数据量少. 比如在医疗领域, 医学影像的产生来源于病例,通常少量的病例并不能够辅助机器对医疗影像进行分析.
二是让机器学会以人类的方式进行学习.人类能够在获取少量样本的情况下, 对样本进行分类和识别, 并且具有快速理解新概念并将其泛化的能力。
3.小样本图像分类难点有哪些？
难点在于训练样本的数量太少，很容易过拟合
常用方法：Meta-learning（元学习）：又称“学会学习“（Learning to learn）, 即利用以往的知识经验来指导新任务的学习，使网络具备学会学习的能力。元学习的目标是利用已经学到的知识来解决新的问题。这也是基于人类学习的机制，我们学习都是基于已有知识的，而不像深度学习一样都是从 0 开始学习的。如果我们已有的先验知识来帮助我们解决新的问题，那么我们对于新的问题就可以不需要那么多的样本，从而解决小样本图像分类的问题。

网络结构

在这里插入图片描述
这张图是这篇论文的总体结构：主要包含两个模块，嵌入模块和图像到类的度量模块
第一个模块 ：嵌入模块 ,采用的是一个全卷积神经网络（不带有全连接层）
输出是一个h x w x d维的一个张量，可以将长度为d的特征向量看作一个局部描述子Xi(因为卷积神经网络中的卷积核池化操作，会将图像压缩，其中输出的每一个像素，其实代表了原图中的一个局部块)，所以一共可以得到m = h x w 个长度为d的局部描述子。
在这里插入图片描述
第二个模块：图像到类的模块，主要介绍的是图像到类是怎么计算的

比如：5 way 1shot
支持集：取5个类别，每个类别1个样本
查询集：从支持集中的5个类别中每个类别取15个样本，共75个样本
支持集和查询集中的都经过第一个模块，得到相应的局部描述子。然后对于查询集中的每一张图片来判断属于支持集中的哪一类
计算公式如下：
在这里插入图片描述

总结

本文的创新点主要有两个：
1.将基于度量学习的小样本学习算法的图像级别的特征向量改为局部描述子
2.将图像与图像之间的相似度量，通过求和改为图像到类的相似度量

王白一
关注
  • 2
    点赞
  • 踩
  • 6
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
小样本图像分类
weixin_49453918的博客
03-30 2950
小样本图像分类流程 数据集处理 让模型适应数据, 针对数据的特点进行建模 数据增强 量级扩增 数据量级的扩大 模式扩增 包含更多的语义特性 方式 旋转、加噪、裁剪、压缩等操作 利用生成模型生成新的样本或生成新的特征 通过函数变换,增加样本数量或者特征数量 特征提取 目的 适应数据分布建立特征提取模型 注意力机制 获得重点需要关注的目标区域, 然后抑制其他无用信息 记忆力机制 循环神经网络RNN 解决了短期记忆的问题 长短期记忆网络LSTM 解决了短期记忆和长期依赖的问题 应用 直接利用LSTM对图像进行编码
少样本学习2：Revisiting Local Descriptor based Image-to-Class Measure for Few-shot Learning
motoight的博客
08-25 793
前言 发表信息：2019CVPR 文章链接：https://arxiv.org/abs/1903.12290 代码链接：https://github.com/WenbinLee/DN4 鉴于已有相关博文对这篇文章进行分析：https://blog.csdn.net/qq_36104364/article/details/106479996 我补充一些自己的阅读感受。 一、核心思想 作者开门见山指出自己收到NBNN（Naive Bayes Nearest Neighbors)的启发，通过将传统metric-b
零基础小样本图像分类入门到毕业①：基础概念
qq_45233572的博客
10-05 2288
本入门博客面向零基础的小样本图像菜狗硕士，或者其他想学习小样本图像分类的业余人士。本篇简单介绍一下小样本的图像分类的前置基础知识和几个小样本图像分类任务的基本概念，以及我对小样本图像领域发论文，毕业情况的看法。
[计算机毕业设计]元学习方法的小样本图像分类算法
Hai_Lang_IT的博客
11-18 1788
元学习并不是学着如何去解决一个特定的任务，而是通过先后学习多个任务逐步提高性能。每次学习新任务时，它就越有能力解决新任务：它在学会如何学习。 一般来说，如果我们要用元学习算法解决任务 T ，那么我们将需要在一系列任务 {Tᵢ} 上进行训练。元学习算法在尝试解决这些任务的过程中获得经验，从而最终解决任务 T 。 计算机毕业设计之元学习小样本图像分类
论文阅读笔记DN4《Revisiting Local Descriptor based Image-to-Class Measure for Few-shot Learning》
海淀小天的blog
04-06 2678
原文下载：https://arxiv.org/pdf/1903.12290v1.pdf  源码地址：https://github.com/WenbinLee/DN4  部分引用格式的是我自己添加的一点认识，其他部分都是摘自深视大佬：https://blog.csdn.net/qq_36104364/article/details/106479996 动机和笔记 在图像级别学习嵌入可能不够有效，这里采用基于局部描述符的图像到类的度量，灵感来自于局部不变特征当年的强大之处。不够有效的原因下文有说。 本文将同一
浅谈DN4
yangxiang2504的博客
11-12 3328
浅谈DN4 论文名称：Revisiting Local Descriptor based Image-to-Class Measure for Few-shot Learning 论文地址：https://arxiv.org/pdf/1903.12290v1.pdf 论文代码：https://github.com/WenbinLee/DN4 DN4是基于度量的小样本算法。 作者认为一般基于度量的小样本算法，是通过网络学习到图片特征，即学习到一组向量来表示整个图像。但是这样会损失图像很多局部特征，包括一些很有
小样本图像分类之 Prototypical Networks 复现
hasque2019的博客
05-07 3361
深度学习最大的诟病就是靠海量的数据就行驱动，与人的认知过程不一样，人可以只通过少量的训练样本就可以快速泛化到目标任务上。受人认知过程的影响。小样本学习被提出并成为当前一个比较热门的研究领域，但问题来了，做cv任务的话深度学习强大的特征表示能力还是很牛掰的。人们希望既能用上DCNN的特征表示能力又能做小样本，吐槽一下学术界对小样本的设置N-way K-shot，虽然每一个任务下样本很少，但是采样的方式就是一堆排列组合的方式。样本是少了，但任务多了。 小样本图像分类现阶段主要的解决方法有三种：首先就是样本少了怎
ismir2018-revisiting-svd:重温歌唱语音检测
05-03
此回购包含了在2018年第19届国际音乐信息检索会议（ISMIR）上由李庆云，崔景宇和Juhan Nam撰写的论文“重新审视歌声检测：定量审查和未来展望”的代码。[ ，] 要求 在requirements.txt中指定 公开数据集 具有相同的...
SpCo-NIPS 2022 论文阅读详细笔记
10-30
Nian Liu等人在NeurIPS 2022会议上发表的论文《Revisiting Graph Contrastive Learning from the Perspective of Graph Spectrum》正是针对这一问题进行深入探讨。 该论文主要解决了以下几个核心问题： 1. **图...
Duan_Revisiting_Skeleton-Based_Action_Recognition_CVPR_2022_paper.pdf
最新发布
10-23
Skeleton-Based Action Recognition 本论文主要关注Skeleton-Based Action Recognition领域，提出了一种新的方法PoseConv3D，旨在解决现有GCN-based方法在robustness、interoperability和scalability方面的限制。...
stereo-transformer:立体声变压器官方回购
03-19
title={Revisiting Stereo Depth Estimation From a Sequence-to-Sequence Perspective with Transformers}, author={Li, Zhaoshuo and Liu, Xingtong and Creighton, Francis X and Taylor, Russell H and ...
【Pytorch】prototypical network原型网络小样本图像分类简述及其实现
Jnchin的博客
10-04 1万+
基本概念 小样本学习(Few-Shot Learning, FSL)，顾名思义，就是能够仅通过一个或几个示例就快速建立对新概念的认知能力。这对于人类来说很简单，比如一个警察完全可以单凭一张照片就能在茫茫人海中认出犯罪嫌疑人。实现小样本学习的方式也有很多，比如：度量学习、数据增强、预训练模型、元学习等等。 元学习(meta learning或learning to learn)，对于一族待解决的多个任务，一个算法“如果随着经验和任务数量的增长，在每个任务上的表现得到改进”，则认为该算法能够学习如何学习，我
【阅读笔记】Revisiting Local Descriptor based Image-to-Class Measure for Few-shot Learning
靓仔博客
04-13 724
图像分类中的小样本学习旨在学习一个分类器来在每个类只有很少的训练示例可用时对图像进行分类。最近的工作取得了有希望的分类性能，其中通常使用基于图像级特征的度量。在本文中，我们认为，鉴于小样本学习中示例的稀缺性，这种级别的测量可能不够有效。相反，我们认为应该采用基于局部描述符的图像到类的度量，其灵感来自于它在局部不变特征的鼎盛时期令人惊讶的成功。具体来说，在最近的情景训练机制的基础上，我们提出了一个深度最近邻神经网络（简称 DN4）并以端到端的方式对其进行训练。它与文献的主要区别在于最后一层中基于图像级特征的度
Revisiting Local Descriptor based Image-to-Class Measure for Few-shot Learning阅读笔记
小新
05-24 1048
Revisiting Local Descriptor based Image-to-Class Measure for Few-shot Learning研究动机二级目录三级目录参考文献 for Few-shot Learning) 研究动机        小样本旨在学习一个具有良好泛化能力的模型，这样它就可以通过一个或几个实例来很容易地适应新的未知类(概念)。然而，每个类的样本数量极其有限，很难有效地代表其类别的分布，这使得这项任务真正具有挑战性。目前解决小样本的
图像分类/目标识别中小样本问题(休斯效应)
学习笔记
05-15 1万+
图像分类/目标识别中小样本问题(休斯效应)
通过对比实现少样本或零样本学习Learning to Compare: Relation Network for Few-Shot Learning
热门推荐
qq_24305433的博客
04-24 2万+
一、简介最近偶然间看到一篇解读CVPR中Learning to Compare: Relation Network for Few-Shot Learning这篇论文（https://arxiv.org/abs/1711.06025）的文章（http://www.gzhshoulu.wang/article/1926990），感觉非常有意思。大家都知道，近年来深度学习之所以取得如此大的成功，主要在...
用小样本数据集构建强大的图像分类模型---三种方式
Jessica__Chan的博客
02-25 3635
转载自: https://zhuanlan.zhihu.com/p/42333072 原出处: https://blog.keras.io/building-powerful-image-classification-models-using-very-little-data.html
Revisiting the VLAD image representation c++ 实现
07-16
VLAD（Vector of Locally Aggregated Descriptors）是一种图像表示方法，常用于图像检索和计算机视觉任务中。它通过聚合局部特征描述符来生成图像的紧凑表示。 以下是一个简单的C++实现示例，展示了如何实现VLAD图像表示： ```cpp #include <iostream> #include <vector> #include <opencv2/opencv.hpp> // 聚类算法（这里使用K-means） cv::Mat kmeansClustering(const std::vector<cv::Mat>& descriptors, int numClusters) { cv::Mat allDescriptors; for (const cv::Mat& descriptor : descriptors) { allDescriptors.push_back(descriptor); } cv::Mat labels, centers; cv::TermCriteria criteria(cv::TermCriteria::EPS + cv::TermCriteria::MAX_ITER, 100, 0.01); cv::kmeans(allDescriptors, numClusters, labels, criteria, 1, cv::KMEANS_PP_CENTERS, centers); return centers; } // 计算VLAD图像表示 cv::Mat computeVLAD(const std::vector<cv::Mat>& descriptors, const cv::Mat& visualWords) { int descriptorSize = descriptors[0].cols; cv::Mat vlad(visualWords.rows, descriptorSize, CV_32F, cv::Scalar(0)); for (const cv::Mat& descriptor : descriptors) { // 找到每个描述符最近的视觉词 cv::Mat difference = visualWords - descriptor; cv::Mat distances; cv::reduce(difference.mul(difference), distances, 1, cv::REDUCE_SUM); cv::Point minLoc; cv::minMaxLoc(distances, nullptr, nullptr, &minLoc); // 计算每个视觉词的残差 cv::Mat residual = descriptor - visualWords.row(minLoc.y); // 更新VLAD表示 for (int i = 0; i < descriptorSize; i++) { vlad.at<float>(minLoc.y, i) += residual.at<float>(0, i); } } // 归一化VLAD表示 cv::normalize(vlad, vlad, 1.0, 0.0, cv::NORM_L2); return vlad; } int main() { // 假设有一组局部特征描述符（使用OpenCV的Mat表示） std::vector<cv::Mat> descriptors = { (cv::Mat_<float>(1, 128) << /* descriptor values */ ), (cv::Mat_<float>(1, 128) << /* descriptor values */ ), (cv::Mat_<float>(1, 128) << /* descriptor values */ ), // ... }; // 聚类算法，得到视觉词汇 int numClusters = 100; cv::Mat visualWords = kmeansClustering(descriptors, numClusters); // 计算VLAD图像表示 cv::Mat vlad = computeVLAD(descriptors, visualWords); // 输出VLAD表示结果 std::cout << "VLAD Representation:\n" << vlad << std::endl; return 0; } ``` 在这个示例中，`descriptors`是一组局部特征描述符，每个描述符用一个`cv::Mat`对象表示。首先，使用K-means聚类算法将所有描述符聚类成`numClusters`个视觉词汇，并得到`visualWords`矩阵。然后，根据每个描述符找到最近的视觉词，并计算每个视觉词的残差。将残差累加到VLAD表示中，并进行归一化处理。最后，输出VLAD图像表示结果。 请注意，这只是一个简单的VLAD图像表示的C++实现示例，供你参考。在实际应用中，你可能需要根据具体需求进行修改和扩展，例如使用更复杂的特征提取方法、改进聚类算法等。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值