CVPR20 Episode-based Prototype Generating Network for Zero-Shot Learning

用小样本的训练方式解决零样本的问题。

---

1 动机

将训练集分成两个不想交的子集，模仿小样本里的support set和query set。主要模仿的点是，通过query set的loss更新模型来提升模型的泛化能力。这种泛化能力，在小样本中是学习几个标注样本就能快速分类的能力，在零样本中是学习已见类后，在未见类上能够进行快速分类。

---

2 方法

2.1 Prototype Generating Network

$$L_{\mathcal{V}\to \mathcal{A}}=\sum _i||F({\text{x}}_i)-{\text{a}}_i|{|}_2^2.\text{\hspace{1em}(1)}$$

$$L_{\mathcal{A}\to \mathcal{V}}=\sum _i||G({\text{a}}_i)-{\text{x}}_i|{|}_2^2.\text{\hspace{1em}(2)}$$

KaTeX parse error: Unexpected end of input in a macro argument, expected '}' at position 75: …b{E} [D(\tilde \̲t̲e̲x̲t̲b̲f̲ ̲ ̲x, \tilde \text…

KaTeX parse error: Unexpected end of input in a macro argument, expected '}' at position 8: \tilde \̲t̲e̲x̲t̲b̲f̲ ̲ ̲x = F( \textbf …
KaTeX parse error: Unexpected end of input in a macro argument, expected '}' at position 8: \tilde \̲t̲e̲x̲t̲b̲f̲ ̲ ̲x = G( \textbf …
KaTeX parse error: Unexpected end of input in a macro argument, expected '}' at position 6: \hat \̲t̲e̲x̲t̲b̲f̲ ̲x = \tau \textb…
KaTeX parse error: Unexpected end of input in a macro argument, expected '}' at position 6: \hat \̲t̲e̲x̲t̲b̲f̲ ̲a = \tau \textb…

$$p_i^{\mathcal{V}}(\text{x})=\frac{exp({\text{x}}^{T}G({\text{a}}_i))}{{\sum }_{j}exp({\text{x}}^{T}G({\text{a}}_j))}.\text{\hspace{1em}(4)}$$

$$p_i^{\mathcal{S}}(\text{x})=\frac{exp(F(\text{x}{)}^T{\text{a}}_i)}{{\sum }_{j}exp(F(\text{x}{)}^T{\text{a}}_j)}.\text{\hspace{1em}(5)}$$

$${\mathcal{L}}_{MCE}=-\sum _{\text{x}}\log p_i^{\mathcal{V}}(\text{x})-\sum _{\text{x}}\log p_i^{\mathcal{S}}(\text{x}).\text{\hspace{1em}(6)}$$

$$\underset{G}{\min }\underset{D}{\max }{L}_{WGAN}+\alpha L_{\mathcal{V}\to \mathcal{A}}+\beta L_{\mathcal{A}\to \mathcal{V}}+\gamma L_{MCE}.\text{\hspace{1em}(7)}$$

2.2 Refining Model

输入为${\text{x}}_t$，输出预测类别标签为：
$${\hat{y}}_t=\arg \underset{k}{\min }d({\text{x}}_t,G({\text{a}}_k)).\text{\hspace{1em}(8)}$$

输入为${\text{x}}_t$，输出的预测概率类别为为：

$$p_G(y=k|{\text{x}}_t)=\frac{exp(-d({\text{x}}_t,G({\text{a}}_k)))}{{\sum }_{k^{\prime }}exp(-d({\text{x}}_t,G({\text{a}}_{k^{\prime }})))}.\text{\hspace{1em}(9)}$$

---

3 实验

3.1 对比实验

这不是直推式零样本。算高的吧。

3.2 episode的效果

分别表示训练集中留出0，5，10，15个类作为query set的结果。0表示不用episode方式。

3.3 消融实验

√表示是1，空表示是0。

---

4 总结

很棒。归纳式。

---

5 参考文献

1. paper