机器学习中的大多数方法是通过有标签的训练集进行学习,侧重于对已经在训练中出现过标签类别的样本进行分类。然而在现实场景中,许多任务需要对以前从未见过的实例类别进行分类,这样就使得原有训练方法不在适用。零样本学习因此孕育而生,该方法的训练实例所涉及的类与测试集中要分类的类是不相交的,完全不同,即根据训练集中的可见类别数据, 通过相关先验知识, 实现对未见类别的数据,进行类别预测和识别。
定义:(零样本学习 Zero-Shot Learning)
给定有标签的训练集合
X
t
r
X^{tr}
Xtr,均属于可见类
S
S
S,零样本学习是指学习一个分类器
f
u
(
⋅
)
:
X
→
U
f^u( \cdot):X\rightarrow U
fu(⋅):X→U 使得分类器可以对均属于未见类别的测试集实例
X
t
e
X^{te}
Xte 进行分类,得到预测值
Y
t
e
Y^{te}
Yte。
2019年冀中等人在综述文章中将零样本分类的定义分为广义和狭义两种:
零样本分类的技术目前正处于高 速发展时期, 所涉及的具体应用已经从最初的图像分类任务扩展到了其他计算机视觉任务乃至自然语言处理等多个相关领域. 对此, 本文将其称为广义零样本分类. 相应地, 我们将针对图像分类任务的零样本分类任务称为狭义零样本分类。
在冀中和 WEI WANG的文章中,零样本学习均被视为迁移学习的一个特例。零样本学习中,源特征空间是训练样本的特征空间和目标特征空间是测试样本的特征空间,这两者是相同的。但是源标注空间和目标标注空间分别是可见类别和未见类别,两者是不同的。因此零样本学习属于异质迁移学习(heterogeneous transfer learning)。
由于在零样本学习中的目标标注空间是未见类别,因此学习这些实例的类别需要额外的辅助信息(Auxiliary Information)作为支撑。这些辅助信息应当满足以下两个标准:1、包含所有不可见类别的信息;2、和特征空间相互关联。
人类学习的过程包含了大量零样本学习的思路,比如被广泛引用的人类识别斑马的例子:假设一个人没有见过斑马,即斑马对这个人来说是未见类别, 但他知道斑马是一种身上有黑白条纹的外形像马的动物,即马是可见类别。那么当他第一次看到斑马的时候, 可以通过先验知识和已经见过的类别认出这是斑马。人类通过语义知识作为辅助信息,识别了未见类,零样本学习基于人类学习过程进行算法的研究。
具体的零样本学习方法可分为:基于分类器的方法和基于样本实例的方法。
综述文章可参考:
[1] Wang W, Zheng V W, Yu H, et al. A survey of zero-shot learning: Settings, methods, and applications[J]. ACM Transactions on Intelligent Systems and Technology (TIST), 2019, 10(2): 1-37.
[2] 冀中, 汪浩然, 于云龙, 等. 零样本图像分类综述: 十年进展[J]. 中国科学: 信息科学, 2019 (10): 5.
[3] 张鲁宁, 左信, 刘建伟. 零样本学习研究进展[J]. 自动化学报, 2020, 46(1): 1-23.