【valse】细粒度识别

Learning from fine-grained and long-tailed visual data

迁移学习：大数据集—>小数据集
迁移任务的指标上升率：与数据的量级是对数的关系

结果如下所示：

更多的预训练数据并非有用~

在2018找出迁移任务的子集而非所有的，找出一定的相似度，利用预训练的子集即可~
即衡量domain similarity

imagenet’和inat有很强的偏差

在迁移学习的时候有一个平均效应，并不是更多的数据就会带来更好的结果

Dealing with long-tailed data

不均衡分布
CVPR19：Class balanced loss and effective number of samples
针对数据的重复建模~

数据量增加的时候带来的边际效益会递减
非参数化的方法~

Panel

细粒度识别与通用识别的区别
细粒度识别：归根到特征定位和特征表达上
这些鸟和车有非常高层次的语义概念，但是模型没有
不同的人有不同的专长，同时不同的模型也有不同的专长
现在的角度细粒度识别和通用识别没有特别大的差异
细粒度==个体识别和实例识别
可以考虑一下细粒度识别的定义
从方法论来看，细粒度识别和通用识别方法无二
细粒度也缺乏明确的定义

细粒度视觉分析领域的热点是什么？还有哪些有价值的研究方向
长尾分布下的视觉分析以及小样本下的视觉分析
无监督的情况下：细粒度检索和聚类，这个更有挑战性
可以多在架构上面多多下功夫，eg:non-local,senet
从模型角度上来说：从loss下手
还可以从数据这方面下手~
目前细粒度：双线性pooling+attention比较有效
半监督学习也是一个值得探索的方向
2017:language+visual结合（即属性信息）可以在方法上有一定的提升

细粒度视觉的瓶颈和未来的挑战
难点在于定位特征和抽取特征上，需要更复杂更有力的模型
细粒度缺少高质量的survey和同一个平台的不同代码的复现
细粒度需要从小的数据集迁移到大的数据集上
细粒度的定义没有明确一直是很大的问题
再有就是benchmark太老旧（到了天花板），实际应用场景太有限，需要一个fine-grained的真是数据community
细粒度天然和long-tail有关系

细粒度视觉识别的重要实际应用
商品识别，person-reid,动植物保护
应用主要在人造（商品，车）和自然（保护）
细粒度是直接面对应用的，比如车的牌子
菜品识别有很大的应用场景
要落地的挑战还是蛮大的

除了细粒度视觉识别，还有哪些有价值的细粒度图像分析方向？
细粒度图像检索：天生无监督，库大，图片粗细颗粒混合，在相似度量上有更高的要求
半监督无监督学习：对于细粒度而言，半监督天然适用于细粒度方向
细粒度还可以直接和视频，语言结合
主要可以扩展到video,比如动作识别
还可以细粒度生成式模型上也大有可为
还有就是缺乏好的benchmark

细粒度的话分辨率太低是会丢失很多信息的，分辨率变化对细粒度还是很有挑战性的

人脸必须要有metric leraning方法，但是很难和softmax达到同样的效果，而且他比较难做