Zero-shot Learning零样本学习 论文阅读（二）——An embarrassingly simple approach to zero-shot learning

这篇论文提出了一种新的zero-shot learning方法“Embarrassingly simple Zero-Shot Learning”，后来被简写作EsZSL。之所以叫做“embarrassingly simple”，是因为这种新方法只需要一行代码就可以实现，而且在zero-shot learning的几个标准数据集上的表现要优于当时最先进的方法。

ESZSL算法概况

背景

在本篇论文之前zero-shot learning相关的文章更多关注点是attribute learning，从训练实例中提取标签属性，直至《Learning To Detect Unseen Object Classes by Between-Class Attribute Transfer》首次定义了Zero-shot learning并且提出了DAP、IAP，尽管DAP这种方法在一些方面得到应用和进一步研究，但是其弊端也比较明显，主要体现在两方面，一方面是他无法对输出的预测给出可靠性度量，二是算法做出了一些过强的假设，尤其是“各属性之间条件独立”，比如“是否生活在陆地”“是否生活在农场”这两个属性显然不是互相独立的。

前提

假设一共有z个类，其中每个类对应于属性空间中的a维属性向量，称为某个类的signature；集合的所有类用矩阵表示就是属性空间$S\in [0,1{]}^{a\times z}$；有m个实例，维度为d维，写成矩阵形式$X\in R^{d\times m}$，实例的标签 Y = { − 1 , 1 } m × z Y=\{-1,1\}^{m\times z} Y={ −1,1}m×z.

思路

在实例空间X和和标签空间Y中间添加一个属性空间，并且通过一个新的映射$V$连接属性空间和特征空间，最后建立损失函数.

算法原理

模型

从一个一般的线性分类器的原理开始，以岭回归为例，其优化过程就是：
$$mi{n}_{w}L(X^{T}W,Y)+\Omega (W)$$
其中$L$为损失函数，$\Omega$为正则化项.
为了实现zero-shot learning，中间添加一个属性空间$S$，通过映射$V$连接属性空间$S$和特征空间$X$，即
$$W=VSV\in R^{d\times a}$$
那么上式就变为
$$\underset{V}{\min }L\left(X^{\top }VS,Y\right)+\Omega (V)$$
通过学习得到参数$V$后，输入新的$x$和$S^{\ast }$，就可以根据$argma{x}_i{x}^{T}V{S}_{\cdot ,i}^{\ast }$确定预测的类别。

求解

上面得到的式子
$$\underset{V}{\min }L\left(X^{\top }VS,Y\right)+\Omega (V)$$
由两部分组成，一部分是损失函数$L$，另一部分是正则化$\Omega$.

损失函数$L$

损失函数$L$论文中直接定义为Frobenius范数的形式：$$L(P,Y)=\Vert P-Y{\Vert }_{Fro}^2$$

正则化项$\Omega$

对于正则化项的选择，作者有两点考虑：

1. 应该包含对于$V$