[NIPS 2019] Meta-Reinforced Synthetic Data for One-Shot Fine-Grained Visual Recognition

最新推荐文章于 2020-09-23 14:20:24 发布

一亩高粱

最新推荐文章于 2020-09-23 14:20:24 发布

阅读量723

点赞数

分类专栏：小样本学习文章标签：小样本学习 few shot learning FSL

本文链接：https://blog.csdn.net/cp_oldy/article/details/103257167

版权

小样本学习专栏收录该内容

14 篇文章 1 订阅

订阅专栏

在这里插入图片描述 paper
code

思考

思考，就从问问题开始吧。

针对细粒度分类问题：为什么混合策略会有效果呢？这之前，为什么生成图像和真实图像直接加在一起分类效果反而会变差呢？参考[7]是真实图像和其他类别真实图像的mix，为什么又会有效果？混合策略提升one shot分类的原因是什么？在supp里给出了，扩增的数据也就是混合得到的图像太多的时候，分类效果会变低，为什么呢？

先说为什么生成图像和真实图像直接加在一起会使得细粒度分类效果变差？首先，什么对细粒度分类有效呢？判别性特征，特别是包含判别性特征的局部特征patch。而基于GAN的生成图像学习的是图像的分布，关注的是图像的整体特征，可能会丢掉具有判别性的局部区域。这样的图像会使得分类器迷惑，不知道该学习什么样的特征，GAN生成的图像时“坏”的正样本。而混合策略学习的效果是，具有判别性的区域被加强了，而没有判别性的区域被弱化了了，从学习到的参数上可以看出来。

哪种混合策略好？ 那么，真实图像和谁混合会有效果呢？本文是和生成的同类图片，参考7是来自一个gallery的base类图像，还有一篇做细粒度是真实图像本身做了一个打乱。那么，真实图片和同类别图片呢？真实图片和噪声呢？对于细粒度任务，哪种混合策略好？对于其他任务混合策略哪种好？

Motivation

细粒度识别问题

比普通的分类更难
很难收集数据：需要专家标注
需要小样本学习

**是否可以生成更多的数据？**现有的最好的GANS如何？挑战 GAN训练需要许多的数据。可否降低训练的数据量？或者换一种训练方式？
Idea：微调 ImageNet上训练的GANS。
在这里插入图片描述

Method

Fine-tune BigGAN with a single image
在这里插入图片描述
技术：只微调BN层

生成的图像有用吗？ 不，精度下降：）
原因是：GAN生成的图像一般对分类没有帮助。**挑战：**怎么利用生成的图像？
Idea：用真实图像强化生成图像

Example

总体架构
在这里插入图片描述

Experiment

分类精度对比实验
在这里插入图片描述

随机采样两个类，使用t-SNE方法进行可视化。可以看到，生成图像相比融合图像距离真是图像更近，而融合图像扩展了决策边界。（如何理解扩展边界？）
在这里插入图片描述

问题清单

混合策略没有理论支持。虽然，混合策略有效。

遗留问题

为什么在混合策略中，为每个类生成10张图像，而在每一次任务中随机采样该类的1张图像？
为什么在fsl任务中，混合图像数量增加后，精度下降？
混合图像增多之后，模型会偏向混合图像，这样导致对测试图像预测不准。

除此之外，论文的补充材料里面也补充了一个实验：
在这里插入图片描述
增加采样时对生成样本的采样数量，原来的实验最终选取的是一张原图和从十张混合图片里随机采样一张作为训练样本；这个实验也测试了采样2，3，5张混合图像，结果发现精度都不如采样一张的时候精度高；

这个地方有两个猜测，一是采样的混合样本过多，原图只有一张，可能会导致原图的信息被淹没，一般来说更希望从原图里学到更多的判别的信息；二是，每次采样多张会降低随机性和多样性，在不同任务的采样中，这10张混合样本是都有机会被采样到的，每一只采样一张相当于用看到了很少的信息，下次再采样可能就跟这次不一样了，这样对网络来说更好学习。每次采样10张的话任务就不具有多样性了。