Piecewise classifier mappings:Learning fine-grained learners for novel categories with few examples

目录

Learning strategy and notations

Model

特征表示

分类器映射

网络训练

---

• few-shot细粒度分类（FSFG,few-shot fine-grained recognition）:用极少样本为新类别建立分类器。
• piecewise mapping：示例到分类器映射策略，用BCNN特征以参数很少的方式学习判别式分类器。

Learning strategy and notations

元学习（meta-learning）框架为基础

分类器生成过程=映射函数（从少数带有类别标签的训练示例到其相应类别分类器

辅助训练集：

（示例图像，标签）

测试集：存在中没有的新类别。

元训练集（meta-training set）：从中随机采样，由示例集（每个类别含Ne示例图片）、查询集（每个类别含Nq查询图片）组成。

示例集查询集类别相同。

 

 示例集被输入到要学习的映射函数M中，以生成类别分类器。【学习了一个自己的表示，类似proxy】

 分类器应用于查询集以评估分类损失。

 通过最小化分类损失来学习映射功能：

λ表示映射函数 M的参数， L 是损失函数。

Model

特征表示

bilinear CNN (BCNN) structure
nA、nB输出维度，L空间位置

位置向量做外积生成特征图

nB个nA维短向量

类似于注意力机制中的乘法特征交互，关注目标的复杂局部。

属于类别k的Ne个样本图像的表示

【根据样本求平均作为类的表示】

分类器映射

通过映射 M 计算每个类别的 D 维分类器

global mapping:线性/非线性全连接映射

1. 很难在如此复杂的特征空间寻找一个决策边界
2. 参数爆炸

piecewise mappings：分段映射

1. 子向量表示目标（双线性特征）的一部分
2. 每个子向量经过非线性MLP（多层感知机）映射到子分类器
3.  将子分类器组合在一起以生成全局类别分类器

 对全连接层分段，减少参数量，容易训练。

网络训练

查询样本x的类别标签y=c

预测分布：softmax【x和自己的表示内积更大】

损失函数：最小化负对数似然

1.  从辅助训练集中采样得到示例集，学习得到分类器
2.  从辅助训练集中采样得到查询集，最小化优化模型参数

【前向传播和反向传播使用的数据不同，但类别相同】

 

根据示例集前向传播得到Fk，代入查询集x计算loss反向传播。【元学习的设置】

测试：对测试集的每个类选择一个样本（五个样本），one-shot（five-shot），和示例集一样一次前向传播得到一个类别的分类器（类别中心）。在测试集里另外随机选20个样本用于评估性能。

查询样本与所有类别的分类器求内积，查询样本属于内积最大的分类器所代表的类别。