LDL组会分享

Label Enhancement by Maintaining Positive and Negative Label Relation

method

基于保持正负标签关系的LE算法，该算法包含了一种新颖的排序损失，可以根据不同的排序误差产生不同的惩罚。

motivation

大多数LE算法在增强过程中忽略了维护正、负标签的排序关系，从而导致了大量的正、负标签排序误差。
某些LE算法使用包含最小二乘损失函数(LS) $\mathcal{L}(\hat{\theta })={\sum }_{i=1}^n\Vert {\hat{d}}_i-l_i\Vert$，可以保证拟合度。但是，只考虑拟合程度是非常片面和不合理的。

用P-N排序错误来表示正负标签排序错误

output model

特征空间与标签空间线性相关
$$\hat{D}=XW+b$$
$W$是权重矩阵，$\hat{W}=[W;b],\varphi (x_i)=[x_i,1]$

目标函数

$$\begin{gathered} \underset{\hat{W}}{\min }=L(\hat{W})+\lambda R(\hat{W}) \\ s.t.\hat{D}\ge 0_{n\times c} \end{gathered}$$
$L$是损失函数，$R$是用来约束正负标签之间排序关系的函数,$0_{n\times c}$是一个零矩阵

损失函数

$$L=\sum _{i=1}^n\Vert {\hat{d}}_i-l_i{\Vert }^2$$

成对排序损失

每个正标签对应的标签分布值应大于任何负标签对应的标签分布值
$${\hat{d}}_i^p>{\hat{d}}_i^m\forall p\in Y_i^{+},m\in Y_i^{-}$$

$$R_{hin}=\frac{1}{N}\sum _{i=1}^N\sum _{p\in Y_i^{+}}\sum _{m\in Y_i^{-}}max(0,\alpha +{\hat{d}}_i^m-{\hat{d}}_i^p)$$
$\alpha$是决定边际的超参数
hinge function

上面的铰链函数形式是非光滑的，使用指数函数和对数函数来平滑逼近

$$R_{lse}=\frac{1}{N}\sum _{i=1}^N\log (1+\sum _{p\in Y_i^{+}}\sum _{m\in Y_i^{-}}\exp ({\hat{d}}_i^m-{\hat{d}}_i^p))$$

四种不同的P-N排序错误。

为了使不同d额P-N排名错误受到轻重不同惩罚，使用$|d_i^p-d_i^m|\cdot |{\hat{d}}_i^p-{\hat{d}}_i^m|$来衡量惩罚

局部标签相关性

因为真实标签分布未知，使用标签相关性来反映两个标签的真实标签分布值之间的差值，同时因为成对排序损失函数是特定于一个实例的，为了减少误差，使用局部标签相关性。
$$[S_g{]}_{ij}=\frac{l_{g,i,:}{l}_{g,j,:}^T}{\Vert l_{g,i,:}\Vert \Vert l_{g,j,:}\Vert }$$
$l_{g,i,:}$表示$L_g$的第i列，$L_g$是集群$X_g$的逻辑标签集。

$$R_{lse}=\frac{1}{N}\sum _{i=1}^N\log (1+\sum _{p\in Y_i^{+}}\sum _{m\in Y_i^{-}}\exp (-[S_g{]}_{pm})\exp ({\hat{d}}_i^m-{\hat{d}}_i^p))$$

最终的目标函数

$$\begin{gathered} \underset{\hat{W}}{\min }=\sum _{i=1}^n\Vert {\hat{d}}_i-l_i{\Vert }^2+\lambda \frac{1}{N}\sum _{i=1}^N\log (1+\sum _{p\in Y_i^{+}}\sum _{m\in Y_i^{-}}\exp (-[S_g{]}_{pm})\exp ({\hat{d}}_i^m-{\hat{d}}_i^p)) \\ s.t.\hat{D}\ge 0_{n\times c} \end{gathered}$$