Zero-shot Learning零样本学习 论文阅读（七）——Unsupervised Domain Adaptation for Zero-Shot Learning

这篇论文运用了一个unsupervised domain adaptation的技巧结合正则化字典稀疏学习，主要解决zero-shot learning中的domain shift问题。

背景

字典稀疏学习

1. 稀疏表示
   假如我们用矩阵 X = { x 1 , x 2 , ⋯   , x n } ∈ R d × n X=\{x_1,x_2,\cdots,x_n\}\in R^{d\times n} X={ x1​,x2​,⋯,xn​}∈Rd×n表示数据集，每一列代表一个样本，即$n$个样本，每个样本有$d$维属性.一般情况下这个矩阵的大多数元素不为零，称之为稠密的.
   稀疏表示的含义是，寻找一个系数矩阵 A = { α 1 , α 2 , ⋯   , α n } ∈ R k × n A=\{\alpha_1,\alpha_2,\cdots,\alpha_n\}\in R^{k\times n} A={ α1​,α2​,⋯,αn​}∈Rk×n以及一个字典矩阵$B\in R^{d\times k}$，使得$BA$尽可能的还原$X$，且$A$尽可能稀疏，则$A$就为$X$的稀疏表示.
2. 字典学习
   为普通稠密表达的样本找到合适的字典，将样本转化为合适的稀疏表达形式，从而使学习任务得以简化，模型复杂度得以降低，通常称为"字典学习"（dictionary learning）.
   目标函数：
   $$\underset{B,{\alpha }_i}{\min }\sum _{i=1}^m{\Vert x_i-B{\alpha }_i\Vert }_2^2+\lambda \sum _{i=1}^m{\Vert {\alpha }_i\Vert }_1$$
   其中，$x_i$为第$i$个样本，$B$为字典矩阵，${\alpha }_i$为$x_i$的稀疏表示，$\lambda$为大于0的参数。

上式中第一个累加项说明了字典学习的第一个目标是字典矩阵与稀疏表示的线性组合尽可能的还原样本；第二个累加项说明了alphai应该尽可能的稀疏。之所以用L1范式是因为L1范式正则化更容易获得稀疏解。
求解过程中：对字典$B$以及样本稀疏表示${\alpha }_i$交替迭代优化。即先初始化字典$B$，(1)固定字典$B$对${\alpha }_i$进行优化；(2)固定$A$对字典$B$进行优化。重复上述两步，求得最终