Dynamic Few-Shot Visual Learning without Forgetting阅读笔记

        论文目标：设计一个小样本学习系统，能够有效的从少量训练数据中学习新的类，同时不会遗忘旧的类别。

A：使用基于注意力机制的小样本权重分类器

B：重新设计convnet模型的分类器，将其作为特征表示和分类权重向量之间的余弦相似函数。

方法：

假设存在一个基本类，目的是识别基类，并且可以动态的对新类进行少量学习。

基础识别模块

A:特征提取    B:分类;学习了基本类别的分类模块，可以识别基本类别。

小样本分类权重生成器：

       一种元学习的学习机制，测试阶段使用。一组数据集，每个类别只有少量的样本。能够动态地同化上述ConvNet模型保留库上的新类别。

从新类的少量样本中获得特征向量，并将获得的特征向量与原有的基类权重一起输入到权重生成器中获得用于新类的分类权重。

基于余弦相似性的识别系统：

       为什么点积运算出值，放入softmax不行：基类数据集大，学习率较低，慢权重

新类类别样本少，学习的快慢取决于输入，因此两者之间点积出的数值大小规律可能完全不同，所以不能使用。对于使用余弦相似性处理的特征，先进行L2规范化处理。

分类权重的生成：