Representation Learning with Fine-grained Patterns-笔记

在一些特定任务中，深度学习可以从原始材料中学习到具有标志性的特征。然而现实情况是，在有监督信息的超类中训练模型，而目标任务是细粒度类别。所以作者提出了一个算法，模型使用超类信息进行分类训练，同时能获得良好的细粒度分类结果。
现实世界中，相比较于直接从细粒度数据集上训练，我们更想从超类中训练，获得的模型却能够很好的应用在细粒度上。超类并不能满足我的需求，举个例子，当你查询一个“哈士奇”的图片，你更希望获得的哈士奇同类型狗的图片，而不是“dog”这种超类的繁冗图片。
使用超类数据集训练出的细粒度模型不能够得到 Fine-grained Pattern，因此这篇文章的主要贡献：

1. 学习到的 Pattern 和任务有着很紧密的联系，相同图片但是不同标签的数据集获得 Pattern 都不相同。
2. 作者提出一个算法，当训练任务数据集的标签是超类，而目标任务数据集的标签是细粒度的情况下，训练出 Fine-grained Pattern。

总结

在训练任务下，模型集中在训练任务上，而忽略很多 Fine-grained Pattern。作者的方法可以很好的解决这个问题，并且更进一步，合并无标签数据和有标签数据一起训练是未来的任务之一。