Zero-shot Learning零样本学习 论文阅读（四）——Zero-Shot Recognition using Dual Visual-Semantic Mapping Paths

这篇2017年的论文提供了解决semantic gap问题的简单做法，所谓的semantic gap也就是从图片中提取的低层特征到高层语义之间存在的“语义鸿沟”问题。这与上一篇论文提到的领域漂移问题都是zero-shot learning技术瓶颈问题之一。

背景

流形学习

首先，什么是流形？
流形(manifold)是局部具有欧式空间性质的空间，包括各种纬度的曲线曲面，例如球体、弯曲的平面等。流形的局部和欧式空间是同构的。
流形学习（manifold learning）是机器学习、模式识别中的一种方法，在维数约简方面具有广泛的应用。它的主要思想是将高维的数据映射到低维，使该低维的数据能够反映原高维数据的某些本质结构特征。流形学习的前提是有一种假设，即某些高维数据，实际是一种低维的流形结构嵌入在高维空间中。流形学习的目的是将其映射回低维空间中，揭示其本质。

语义间隔(semantic gap)

样本的特征往往是视觉特征，比如用深度网络提取到的特征，而语义表示却是非视觉的，这直接反应到数据上其实就是：样本在特征空间中所构成的流型与语义空间中类别构成的流型是不一致的。而语义间隔问题就是样本在特征空间中的流形与语义空间中的类别构成的流形是有差异的。解决此问题的思路便是将二者的流型调整至一致。

算法原理

算法思路

要解决的问题是将特征空间中的流形与语义空间中的类别构成的流形，最简单的思路便是将类别的语义表示调整到样本的流形，即用类别语义表示的K近邻样本点重新表示类别语义。

符号设定

1. 可见（训练）标签集 $L_s=\left\{l_s^1,l_s^2\dots \dots l_s^m\right\}$ (共有 $m$ 个类) ，其在语义空间中对应的prototype集为 $K_s=\left\{k_s^1,k_s^2\dots \dots k_s^m\right\}$；
2. 不可见 (测试) 标签集 $L_u=\{l$