基于流形学习的标签分布

一，LLE思想求得权重系数

LLE假设数据在较小的局部是线性的，也就是说，某一个数据可以由它邻域中的几个样本来线性表示。

那么假如有一个样本 ${x\text{x}x}_1$，用 k-NN 思想找到和它最近的三个样本 ${x\text{x}x}_2,{x\text{x}x}_3,{x\text{x}x}_4$，我们就假设样本 ${x\text{x}x}_1$ 可以由 ${x\text{x}x}_2,{x\text{x}x}_3,{x\text{x}x}_4$ 线性表示，即：
$${x\text{x}x}_1=w_{12}{x\text{x}x}_2+w_{13}{x\text{x}x}_3+w_{14}{x\text{x}x}_4$$
为了找到其中线性关系的权重系数，可以用均方差作为回归问题的损失函数：
$$J\text{J}J(W)=\sum _{i=1}^m||{x\text{x}x}_i-\sum _{j\in Q(i)}{w}_{ij}{x\text{x}x}_j|{|}_2^2\text{\hspace{1em}(1)}$$其中$Q(i)$表示 $i$ 的k个近邻样本脚标的集合。

通过上述式子可以得到权重系数 $W_1=(w_{12},w_{13},w_{14}{)}^{\mathrm{T}}$。

二， 通过网络得到对应标签分布

通过网络分别预测出样本 ${x\text{x}x}_1,{x\text{x}x}_2,{x\text{x}x}_3,{x\text{x}x}_4$ 对应的标签分布 ${y\text{y}y}_1,{y\text{y}y}_2,{y\text{y}y}_3,{y\text{y}y}_4$。

三， 重构标签

假设在流形空间中，样本空间的线性关系与标签空间中的线性关系相似，则根据样本中求得的权重系数，并且设定一个参数 $\lambda$ ，来得到新的标签 ${y\text{y}y}_1^{\prime }$：
$${y\text{y}y}_1^{\prime }=\lambda {y\text{y}y}_1+(1-\lambda )(w_{12}{y\text{y}y}_2+w_{13}{y\text{y}y}_3+w_{14}{y\text{y}y}_4)$$