【论文解读】Adversarial Feature Hallucination Networks for Few-Shot Learning（对抗特征，小样本学习）

最新推荐文章于 2023-08-18 21:29:43 发布
最新推荐文章于 2023-08-18 21:29:43 发布
阅读量1.1k 收藏 15
点赞数 1
文章标签： 少样本学习 FSL 对抗特征生成 正则化
原文链接：https://mp.weixin.qq.com/s/LY9K6gy4yPHUvL2RoP5jTQ
版权

1. 介绍


论文地址：Adversarial Feature Hallucination Networks for Few-Shot Learning.

参考代码：https://github.com/KandariSrinivas/Adversarial-Feature-Hallucination-Networks-for-Few-Shot-Learning

针对问题：小样本学习、数据多样性和可判别性

        数据扩充对小样本有效，然而，这些模型不能很好地保证合成数据的可辨别性和多样性，因此常常产生不希望的结果。

文章贡献：

  • 提出了对抗性特征幻觉网络（AFHN），它基于条件Wasserstein生成性对抗性网络（cWGAN），并在少数标记样本的条件下幻觉多样性和辨别性特征；
  • 在AFHN中引入了两种新的正则化子，即分类正则化子和反折叠正则化子，以分别提高合成特征的可分辨性和多样性； 
  • 对三个常见基准数据集的比较结果证实了AFHN相对于现有基于数据增强的FSL方法和其他最先进的方法的优越性。

2. 方法

        本文提出一种基于数据增强的小样本学习算法（AFHN），利用生成对抗网络（GAN）实现数据集的扩充。数据增强的方法被认为可以增强类内样本方差的多样化，从而实现更加清晰地分类界限。先前的数据增强方法主要包含两类：一类是通过在基础数据集上学习一种变换映射，并将其直接应用到新的数据集上，得到映射后的合成图像用于数据扩充，这一类方法会破坏合成图像的区分能力（因为合成图像很粗糙，与原始类别并不相似）；另一类方法是根据特定的任务生成对应的合成图像，这类方法保证了合成图像的区分能力，但特定的任务约束使得合成的图像容易陷入一种特定的模式，从而丧失了多样性（在GAN中这种情况称之为Mode Collapse，就是指生成的图像之间太过于相似，不具备多样性）。本文利用conditional Wasserstein Gener- ative Adversarial Networks ，cWGAN（与普通的GAN相比，cWGAN就是通过改进目标函数，进而提高训练稳定性的一个变种，此处不再详细介绍）生成样本，并通过增加分类正则项（classification regularizer）和 “反陷入”正则项（anti-collapse regularizer），解决了生成样本缺少区分能力和多样性的问题。本文提出算法的处理流程如下图：

         首先支持集图像和查询集图像经过特征提取网络 F得到对应的特征向量，支持集对应的特征向量为 s（如果有多个样本则取平均值），从[0,1]的均匀分布中采样得到两个随机变量 1然后将特征向量 s 和  z1，z2输入到cWGAN的生成器 G中，得到合成的向量s1，s2，过程如下：

 然后将s1,s2和原始的s一起输入到判别器D中，并计算GAN的损失：
 

         简单地用上述GAN损失训练模型并不能保证生成的特征非常适合学习判别分类器，因为它忽略了不同类之间的类间竞争信息。此外，由于条件特征向量是高维和结构化的，因此生成器很可能忽略噪声向量，并且所有合成特征在特征空间中塌陷到单个或几个点，即所谓的模式塌陷问题。为了避免这些问题，我们在目标函数中附加了一个分类正则化项和一个抗崩溃正则化项，旨在鼓励合成特征的多样性和可辨别性。

Classification regularizer：

        由于我们的训练目标是在查询集QT中对井样本进行分类，因此在给定支持集ST的情况下，我们通过要求合成特征作为真实特征很好地服务于分类任务，从而鼓励对合成特征的可辨别性。定义了一个非参数FSL分类器，采用余弦相似性，计算查询图像（xq，yq）∈ QT与合成特征为同一类的可能性：

 然后再利用交叉熵损失函数计算分类损失，作为分类正则项 L c r i ，该正则项的目的是为了增强生成样本的区分能力：

 Anti-collapse regularizer：

        众所周知，GAN模型存在臭名昭著的模式崩溃问题，特别是条件GAN，其中结构化和高维数据（例如图像）通常用作条件上下文。因此，生成器可能会忽略解释多样性的潜在噪声，而只关注条件上下文，这是不可取的。具体到我们的情况，我们的目标是增加特征空间中的少数标记样本；当发生模式坍塌时，所有合成特征可能会折叠到特征空间中的一个或几个点，无法使标记样本多样化。观察到当映射到特征空间时，潜在代码空间中距离较近的噪声向量更有可能塌陷到相同模式，我们直接惩罚两个合成特征向量的相异度与生成它们的两个噪声向量的相异度之比：

        即“反陷入”正则项则是直接对两个合成特征向量的不相似度和产生它们的两个噪声向量的不相似度的比值进行惩罚，文字表述比较复杂，我们直接看公式：

 式中，分子部分表示了两个合成特征向量之间的不相似度，而分母表示两个噪声向量之间的不相似度。s1，s2越相似，越容易坍塌，z1，z2越相似，分母就越小，相当于放大了s1，s2的相似性。该正则项的目的时为了增强生成样本的多样性。

对于生成对抗网络部分损失函数如下：

值得注意的是“反陷入”正则项 L a r 取了倒数，因此对于生成器而言是希望生成的s1 和 s2之间的不相似度越大越好 。

        对于分类器部分采用简单的分类损失函数进行训练：

训练策略：

 

 3. 实验

 

诸葛灬孔暗
关注
小样本学习（FSL）：Few-shot Learning 综述【模型微调（Fine-tunning）、数据增强、迁移学习（Transfer Learning）】
u013250861的博客
03-09 1万+
分类非常常见，但如果每个类只有几个标注样本，怎么办呢？ 比如：我们打造了一个智能对话开发平台以赋能第三方开发者来开发各自业务场景中的任务型对话，其中一个重要功能就是对意图进行分类。大量平台用户在创建一个新对话任务时，并没有大量标注数据，每个意图往往只有几个或十几个样本。 面对这类问题，有一个专门的机器学习分支——Few-shot Learning 来进行研究和解决。 一、小样本学习方法 1、基于模型微调的小样本学习 基于模型微调的方法是小样本学习较为传统的方法,该方法通常在大规模数据上预训练模型,在目标小样
PyTorch深度学习实战（40）——零样本学习(Zero-Shot Learning)
最新发布
盼小辉丶的博客
04-01 2784
零样本学习 (Zero-Shot Learning) 旨在解决传统监督学习中，当训练数据中不存在某个类别的样本时，如何对该类别进行分类的问题。在传统监督学习中，分类模型需要通过训练数据学习到每个类别的特征和模式，并在测试阶段根据这些学习到的知识对新样本进行分类。然而，在现实世界中，我们无法获得所有可能类别的训练样本，因此零样本学习成为了一种重要的解决方案。在本节中，我们将学习零样本学习的基本概念，并使用 PyTorch 实现零样本学习模型。
2019 ICIP之多光谱行人检测：UNPAIRED CROSS-SPECTRAL PEDESTRIAN DETECTION VIA ADVERSARIAL FEATURE LEARNING
makabaka的博客
03-22 881
UNPAIRED CROSS-SPECTRAL PEDESTRIAN DETECTION VIA ADVERSARIAL FEATURE LEARNING 当前的问题及概述： 本文提出的框架采用行人检测网络和区域生成的对抗网络，能够生成互补的跨光谱行人特征。本文多光谱行人检测的说明： 模型及loss： 本文提出的跨模态行人检测框架。使用两个交叉光谱嵌入网络将每个光谱图像编码到公共空间中。为了对...
【阅读笔记】Adversarial Feature Hallucination Networks for Few-Shot Learning-CVPR-2020
靓仔博客
01-09 674
本文提出了一种基于条件Wasserstein生成式对抗网络的对抗特征幻觉网络(AFHN)，该网络以少数标记样本为条件，产生了多种多样的识别特征。在AFHN中引入分类正则化和抗坍塌正则化两种新的正则化方法，分别提高了合成特征的可鉴别性和多样性。
论文阅读笔记《Adversarial Feature Hallucination Networks for Few-Shot Learning》
深视
06-29 3045
核心思想   本文提出一种基于数据增强的小样本学习算法（AFHN），利用生成对抗网络（GAN）实现数据集的扩充。数据增强的方法被认为可以增强类内样本方差的多样化，从而实现更加清晰地分类界限。先前的数据增强方法主要包含两类：一类是通过在基础数据集上学习一种变换映射，并将其直接应用到新的数据集上，得到映射后的合成图像用于数据扩充，这一类方法会破坏合成图像的区分能力（因为合成图像很粗糙，与原始类别并不相似）；另一类方法是根据特定的任务生成对应的合成图像，这类方法保证了合成图像的区分能力，但特定的任务约束使得合成的
2017.4-Jeff Donahue, Trevor Darrell-Adversarial feature learning-UCB-ICLR2017 阅读笔记
能找到答案的，只有自己
10-14 616
2017.4-Jeff Donahue, Trevor Darrell-Adversarial feature learning-UCB-ICLR2017 本文创新点：提出 BiGANs，能够进行 inverse mapping (data => latent space) 在GAN 中引入 encoder，命名为 Bi-GAN, 将 discriminator 对 X 和 G(z) 的...
Adversarial Machine Learning（intro）
黑崎一护的专栏
02-05 2773
Adversarial Machine Learning 无意从一位老师的主页上看到了adversarial machine learning 该老师Benjamin Rubinstein（墨尔本大学）的个人主页 http://www.bipr.net/  传统的统计机器学习（人工只能，数据挖掘，机器学习和统计）被成功的应用与很多产品中，并加强了大数据（数据科学和分析）的产业化趋势
论文阅读问题总结(六)：Meta-Learning with Domain Adaption for Few-shot Learning Under Domain Shift
qq_32599109的博客
03-23 637
1.这篇paper作者提出要解决的问题？ 作者提出，大部分现存的小样本元学习领域的一些工作都基于两个假设： training task和testing task都是从满足同一task distribution中采样出来的小样本数据集。 training tasks有足够的数据集提供给模型训练。 然而在真实的应用场景中，我们要解决的目标任务所在的领域并没有大量数据集用来构建training tasks(与testing task满足同一task distribution)。 2.传统的深度学习的domain
Few-shot Learning survey-详细易懂-小样本综述
mohong96的博客
10-23 4269
目 录 1. 半监督学习 semi-supervised learning 3 1.1 基本概念 3 1.2 半监督学习的应用 4 1.3 半监督学习方法结构 5 1.4 半监督深度学习 6 2. 主动学习（Active Learning） 7 2.1 基本概念 7 2.2 应用领域以及场景 7 2.3 研究现状...
[论文笔记] Domain-Adaptive Few-Shot Learning
weixin_44563093的博客
04-20 3733
原文链接：https://openaccess.thecvf.com/content/WACV2021/papers/Zhao_Domain-Adaptive_Few-Shot_Learning_WACV_2021_paper.pdf github链接：GitHub - dingmyu/DAPN: A pytorch implementation of "Domain-Adaptive Few-Shot Learning"（有bug和文件缺失，无法运行） Methodology (论文原图，侵删).
对抗样本学习报告
hipamp的博客
11-25 1086
对抗样本学习报告 Ⅰ.背景 随着深度学习的快速发展，在众多机器学习领域取得了重大进步，深度学习在许多至关重要的安全环境中得到应用。但，最近几年研究者发现，输入一些精心设计的样本时，深度学习表现出极大的脆弱性，这些精心设计的样本就是对抗样本。 对抗样本(Adversarial Examples)，就是向原始样本中添加一些人眼无法察觉的噪声，添加这些噪声后不会影响人类的识别，但是却很容易欺骗深度神经...
[論文筆記] Super-Identity Convolutional Neural Network for Face Hallucination
Dennis_Lee_的博客
09-23 2509
原文 : Super-Identity Convolutional Neural Network for Face Hallucination Introduction Face Hallucination 為一將人臉影像從低解析度(low resolution)轉變為高解析度(high resolution)的過程，以往方法大多考量的是輸出影像是否清晰、逼真(visual quality)，...
关于“Deep Adversarial Metric Learning”
gzw110605110的博客
12-06 1769
论文阅读笔记 论文题目：Deep Adversarial Metric Learning 论文创新点：DAML利用大量 易辨识的负例（ easy negatives）生成 难辨识的负例（hard negatives）；现存的度量学习（metric learning）方法仅利用数量少的hard negatives而忽略数量多的easy negatives。如下图所示， 具体内容： DAML的网络结...
GAN以及小样本数据扩增的一些论文笔记
热门推荐
qq_41032884的博客
01-14 1万+
1. 几种常见的GAN介绍 1.1. 原始GAN 1.2. CGAN 1.3. Semi-Supervised GAN 1.4. AC-GAN 2. Data Augmentation with Few Shot Learning 2.1. SMOTE 2.2. WGAN 2.3. BAGAN 1. 几种常见的GAN介绍 1.1. 原...
论文阅读笔记《Few-shot Learning via Saliency-guided Hallucination of Samples》
深视
06-03 2030
核心思想   本文提出了一种基于数据增强的小样本学习算法。选择Relation Network作为Baseline，在此基础上，利用显著性目标检测算法，将图像分割成前景与背景，再将不同图片的前景和背景进行拼合，组成更多的合成图像，以此实现数据集的扩充。本文的想法乍看起来很简单，4张图片分成前景和背景共8张图片，然后两两组合就可以得到16张合成图片，但在实现过程中仍有许多细节问题需要考虑，那看一下作者是如何实现其想法的吧。   如上图所示，整个网络分成三大部分：显著性检测网络（Saliency Net，Sa
小样本学习
alex1801
02-24 4650
给定两张图片 a 和 b，如果两张图片越相似，则 sim (a, b) 的值越大。在小样本学习问题中，Support Set中每一类往往只有少数几个样本，单单依靠这些样本，不可能训练出一个深度神经网络，甚至无法采用迁移学习中的Pretraining+Fine Tuning方法。将Query图片和Support Set中所有图片全部转化为特征向量，然后依次计算Query图片对应的特征向量和Support Set中各图片对应特征向量之间的距离，返回Support Set中距离最小的图片类别作为预测结果。
【少样本】学习综述：小样本学习研究综述
zenRRan的博客
07-26 9215
点击下面卡片，关注我呀，每天给你送来AI技术干货！来源：知乎—Jy的炼丹炉地址：https://zhuanlan.zhihu.com/p/389781532(侵删)随着大数据时代的到来,深...
01 小样本学习 概述
darren_pty
08-18 1085
这里给出小样本学习的严格定义，在介绍小样本学习之前，我们先看机器学习的定义。然后我们引入小样本学习的定义。机器学习就是从数据中学习，从而使完成任务的表现越来越好；小样本学习是具有有限监督数据的机器学习；弱监督学习是强调在不完整、不准确、有噪声、数据少的数据上学习；半监督学习是强调在少量标注数据和大量非标注数据上学习；迁移学习是把充足数据上学习的知识迁移到数据匮乏的任务上。
Feature Statistics Mixing Regularization for Generative Adversarial Networks中特征混合和统计混合是怎么实现的
05-03
在Feature Statistics Mixing Regularization for Generative Adversarial Networks中，特征混合和统计混合是通过修改生成器的损失函数来实现的。 在特征混合中，生成器的损失函数被修改为原始损失函数加上特征混合...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值