Transfer Learning in a Transductive Setting阅读笔记NIPS2013

论文地址：http://papers.nips.cc/paper/5209-transfer-learning-in-a-transductive-setting.pdf。

该论文发表在NIPS2013，主要的工作是解决zero-shot learning或few-shot learning问题，即利用少量标签样本或者不用任何标签样本训练分类器，能够对未见过的类别进行分类。算法分为三个部分：（1）利用外部知识，比如文本语料库等等，发现新的类别；（2）发掘了新类的流结构；（3）构建了能力更强的数据空间结构关系。该工作在当时在所有数据集上取得了半监督学习最好的效果。

算法的框架如图1所示。最终的预测结果由三部分组成：a)利用语义知识迁移产生新类；b)少量带标签的例子；c)样本之间的相似性。总结起来其实就是，先基于外部知识，利用已知类推测出未知类的表示，计算未知类数据的样本相似性，构建其有效的空间关系，如果有少量已知的未知类样本标签，则加入其标签，从而得到最终的结果。它其实就是将基于属性的学习模型融合进传统半监督模型里。

图1 算法框架示意图

主要贡献

  （1）将语义知识迁移扩展到直推式学习（直推式学习是指未标记的数据就是最后用来测试的数据，它是半监督学习的一个子类问题。）；（2）在构建数据空间分布关系的时候，先将数据投影到低维的语义空间中，再找数据的空间分布关系；（3）该算法在三个数据集（Animals with Attributes, ImageNet for image classification, MPII composites for activity recognition）上均取得2013年的最好效果。

算法内容
算法取名为Propagated Semantic Transfer(PST)。

语义知识迁移（Semantic knowledge transfer）

该部分是指通过已知的类别y1,...,yk集合推测出未见过的类别z1,..,zn的过程。作者使用了两种方式，一种就是经典的加中间层的算法DAP[1]（感兴趣的同学可以参考博主对该篇论文的阅读笔记）。设中间层A={a1,...,am}表示，且为二值量，这时，可以训练一个分类器，可以得出p(am|x)的值，其中x为样本。然后，就可以通过训练好的分类器，对新类样本进行类别的预测，得到新类别z的属性向