Latent Semantics Encoding for Label Distribution Learning 论文笔记

动机和思想

动机

1，大多数实际分类学习任务中存在不相关和冗余特征；
2，数据采集中的噪声会对LDL算法的泛化性能产生负面影响。

主要思想

标签分布学习的潜在语义编码（LSE-LDL），它在潜在语义的指导下学习标签分布并同时实现特征选择。
具体地说，为了减轻噪声干扰，我们寻求并编码有区别的原始物理/化学特征到高级潜在语义特征，然后通过经验风险最小化构建从编码的语义空间到标签空间的映射。

创新点

1. 潜在语义编码：对原始样本矩阵 $X$ 进行特征选择得到新的样本矩阵 $Z$。
2. 潜在语义特征空间 $Z$ 和标签空间 $Y$ 之间的局部几何结构应该是一致的。也就是说，如果两个实例 $x_i$ 和 $x_{i^{{}^{\prime }}}$ 在 $Y$ 中彼此接近，那么它们在 $Z$ 中也应该彼此接近。

目标函数

其中：

1. 第一项表示Loss函数，用的KL散度；

2. 第二项和第三项表示潜在语义编码和特征选择：
   创建了一个从 m 维 $\mathcal{X}$ 到 c 维潜在语义特征空间 $\mathcal{Z}$ 的映射$\varphi :\mathcal{X}\to \mathcal{Z}$，称为$\varphi (x_i)=W^{\top }{x}_i$，其中 $W$ 是大小为 m*c 的特征系数矩阵。

3. 第四项表示潜在语义特特征空间和标签空间局部几何结构一致性：
   
   相当于计算出一个邻接矩阵，标签空间局部相近的样本值就接近1，不相近的就接近为0。

4. 第五项是最大熵模型的参数正则化。