[IJAC 2019] Zero-Shot Fine-Grained Classification by Deep Feature Learning with Semantics

[arxiv 2017]论文的重点强调的是学习特征，对零样本细粒度分类更有判别性的特征。

该方法分为两个阶段：特征学习和标签推理。

假设：
识别一个细粒度类别，需要利用高层特征和细粒度特征。而这里的高层特征，论文用的是细粒度类别中暗含的分层语义结构，即“目科属种”这样的关系。每个图片都有这样的分层标注，论文说这样的标注可以从百科中很容易地获得。

A. Feature Llearning 特征学习

在VGG16网络中的第3-5层后面加入了分层分类子网络和域适应子网络。使用了测试类的样本，说明本文的方法属于直推式的ZSL问题。

分层分类网络的loss
$$\begin{array}{rl}{\mathcal{L}}_h({\theta }_F,{\theta }_f,{\theta }_g,{\theta }_s)=& {\mu }_f{L}_f(y_f,G_f(G(x;{\theta }_F);{\theta }_f))+\\ & {\mu }_g{L}_g(y_g,G_g(G(x;{\theta }_F);{\theta }_g))+\\ & L_s(y_s,G_s(G(x;{\theta }_F);{\theta }_s))\end{array}\text{\hspace{1em}(1)}$$

总loss
$$\begin{array}{rl}\mathcal{L}({\theta }_F,{\theta }_f,{\theta }_g,{\theta }_s,{\theta }_d)=& {\mathcal{L}}_h({\theta }_F,{\theta }_f,{\theta }_g,{\theta }_s)-\\ & {\mu }_d{\mathcal{L}}_d(y_d,G_d(G_s({\theta }_s,G(x;{\theta }_F);{\theta }_d))\end{array}\text{\hspace{1em}(2)}$$

B. Label Inference 标签推理

实验

蓝色表示预测错误，红色表示预测正确。图片下的文字，是标签。

1. 只给出种类标签，预测错误；用属/种标签，预测成功。
   
2. 只给出属/种类标签，预测错误；用科/属/种标签，预测成功。
   

参考

1. 北大王立威团队: 零样本细粒度图像分析新模型
2. 论文链接