论文笔记——多标签学习：GLOCAL

原文见Yue Zhu, James T. Kwok, Zhi-Hua Zhou, Multi-Label Learning with Global and Local Label Correlation, IEEE Transactions on Knowledge and Data Engineering, 2018 (30), 1081–1094.

符号系统

符号	说明
$\mathbf{X}=[x_{ij}{]}_{n\times d}\in {\mathbb{R}}^d$	特征矩阵
Y ~ = [ y ~ i j ] ∈ { − 1 , 1 } l × n \mathbf{\tilde Y}=[\tilde y_{ij}]\in \{-1,1\}^{l\times n} Y~=[y~​ij​]∈{−1,1}l×n	真实标签矩阵，即标签存在值为1，不存在即为-1
Y = [ y i j ] ∈ { − 1 , 0 , 1 } l × n \mathbf{Y}=[y_{ij}]\in \{-1, 0, 1\}^{l\times n} Y=[yij​]∈{−1,0,1}l×n	观察到的标签矩阵，即标签存在值为1，不存在即为-1，状态未知即为0
C = { c 1 , … , c l } \mathbf{C}=\{c_1, \dots, c_l\} C={c1​,…,cl​}	标签集

主要思想
全局性体现在将$\tilde{\mathbf{Y}}$分解成两个低秩矩阵相乘：$\mathbf{UV}$，即用$\mathbf{UV}$来拟合$\tilde{\mathbf{Y}}$。其中，$\mathbf{V}\in {\mathbb{R}}^{k\times n}$表示从原标签中抽象出的隐藏标签；$\mathbf{U}\in {\mathbb{R}}^{l\times k}$表示隐藏标签到原始标签的投射。然后，我们要找从特征数据到隐藏标签之间的映射关系，特征权重值用$\mathbf{W}\in {\mathbb{R}}^{d\times k}$来表示，即用${\mathbf{W}}^T\mathbf{X}$来拟合$\mathbf{V}$，因此基本的目标模函数为：
$$\underset{\mathbf{U},\mathbf{V},\mathbf{W}}{\min }\parallel {\Pi }_{\Omega }(\mathbf{Y}-\mathbf{UV}){\parallel }_F^2+\lambda \parallel (\mathbf{V}-{\mathbf{W}}^T\mathbf{X}){\parallel }_F^2+{\lambda }_2\mathcal{R}(\mathbf{U},\mathbf{V},\mathbf{W})\text{\hspace{1em}(1)}$$
其中，${\Pi }_{\Omega }(\mathbf{Y}-\mathbf{UV})$是一个大小为$l\times n$的矩阵，$\Omega$中记录了已知标签状态的标签索引（$\mathbf{Y}中非0值的索引$），如果$(i,j)\in \Omega$，$[{\Pi }_{\Omega }(A){]}_{ij}=A_{ij}$，否则$[{\Pi }_{\Omega }(A){]}_{ij}=0$；
$\mathcal{R}(\mathbf{U},\mathbf{V},\mathbf{W})$是一个正则表达式起约束作用；$\lambda$、${\lambda }_2$是权衡因子。
针对每一个标签，都有一个模型器与之对应。一个测试样例$x$的预测结果用$sign(f(x))$来表示。其中，$f(x)={\mathbf{UW}}^{T}x$，$f=[f_1,\dots ,f_l{]}^T$，$f_j(x)$表示$x$关于标签$c_j$的预测值。所有样例的测试结果用$F_0$表示，即${\mathbf{F}}_0=[f(x_1),\dots ,f(x_n)]={\mathbf{UW}}^T\mathbf{X}$。
我们期望存在正相关的标签在同一个样本上的输出值越相似，负相关的标签的预测值差异越大。用${\mathbf{S}}_0=[S_{ij}]\in {\mathbb{R}}^{l\times l}$来表示标签的相关性矩阵，本论文中采用了余弦距离来表示相关性，即$[{\mathbf{S}}_0{]}_{ij}=\frac{y_i{y}_j^T}{\parallel y_i\parallel \parallel y_j\parallel }$，$y_i$表示$\mathbf{Y}$中的第$i$行数据。因此，希望${\sum }_{i,j}{S}_{ij}\parallel f_{i,:}-f_{j,:}{\parallel }_2^2$尽可能小。
通过${\mathbf{S}}_0$所对应的拉普拉斯矩阵${\mathbf{L}}_0$（${\mathbf{L}}_0={\mathbf{D}}_0-{\mathbf{S}}_0$其中${\mathbf{D}}_0$是一个对角阵，每行的元素值等于${\mathbf{S}}_0$对应行的元素值的和）将目标式子${\sum }_{i,j}{S}_{ij}\parallel f_{i,:}-f_{j,:}{\parallel }_2^2$进行转换（拉普拉斯矩阵在后面介绍），拉普拉斯矩阵其中一个特点——对任意一个向量$f$有：$f^{T}Lf={\sum }_{i,j}{S}_{ij}\parallel f_{i,:}-f_{j,:}{\parallel }_2^2$。
于是，${\mathbf{F}}_0^T{\mathbf{L}}_0{\mathbf{F}}_0$得到一个对角矩阵，将${\sum }_{i,j}{S}_{ij}\parallel f_{i,:}-f_{j,:}{\parallel }_2^2$尽可能小问题转换为 $tr({\mathbf{F}}_0^T{\mathbf{L}}_0{\mathbf{F}}_0)$尽可能小问题。
上面我们讨论的都是全局下的情况，现在来将局部相关性考虑进去。
由于标签的相关性在不同的环境中的表现可能不同，所以将训练样本划分成$g$组，每个组用${\mathbf{X}}_m\in {\mathbb{R}}^{d\times n_m},m\in [1,g]$表示，每组的大小记作$n_m$，对应的标签值矩阵用${\mathbf{Y}}_m$表示。与全局下一样，我们期望每个组的$tr({\mathbf{F}}_i^T{\mathbf{L}}_i{\mathbf{F}}_i)$（ps: ${\mathbf{F}}_i={\mathbf{UW}}^T{\mathbf{X}}_m，[S_m{]}_{ij}=\frac{{y_m,}_i{y_m,}_j^T}{\parallel y_i\parallel \parallel y_j\parallel }，{\mathbf{L}}_m={\mathbf{D}}_m-{\mathbf{S}}_m$）（其中${y_m,}_i$表示${\mathbf{Y}}_m$的第i行）尽可能的小。
于是，目标进化为：
$$\underset{\mathbf{U},\mathbf{V},\mathbf{W}}{\min }\parallel {\Pi }_{\Omega }(\mathbf{Y}-\mathbf{UV}){\parallel }_F^2+\lambda \parallel (\mathbf{V}-{\mathbf{W}}^T\mathbf{X}){\parallel }_F^2+{\lambda }_2\mathcal{R}(\mathbf{U},\mathbf{V},\mathbf{W})+{\lambda }_{3}tr({\mathbf{F}}_0^T{\mathbf{L}}_0{\mathbf{F}}_0)+\sum _{m=1}^g{\lambda }_{4}tr({\mathbf{F}}_m^T{\mathbf{L}}_m{\mathbf{F}}_m)\text{\hspace{1em}(2)}$$
随后，文中提到了一个引理和一个命题：


于是，在此基础上再次进化：
$$\underset{\mathbf{U},\mathbf{V},\mathbf{W}}{\min }\parallel {\Pi }_{\Omega }(\mathbf{Y}-\mathbf{UV}){\parallel }_F^2+\lambda \parallel (\mathbf{V}-{\mathbf{W}}^T\mathbf{X}){\parallel }_F^2+{\lambda }_2\mathcal{R}(\mathbf{U},\mathbf{V},\mathbf{W})+\sum _{m=1}^g\left(\frac{{\lambda }_3{n}_m}{n}tr({\mathbf{F}}_0^T{\mathbf{L}}_m{\mathbf{F}}_0)+{\lambda }_{4}tr({\mathbf{F}}_m^T{\mathbf{L}}_m{\mathbf{F}}_m)\right)\text{\hspace{1em}(3)}$$
令$\mathbf{J}=[{\mathbf{J}}_{ij}{]}_{l\times n}$，当$(i,j)\in \Omega$时，${\mathbf{J}}_{ij}=1$，否则为$0$。所以${\Pi }_{\Omega }(\mathbf{Y}-\mathbf{UV})$被写成$\mathbf{J}\circ (\mathbf{Y}-\mathbf{UV})$。
由于拉普拉斯矩阵${\mathbf{L}}_m$是正定矩阵，一定能找到矩阵${\mathbf{Z}}_m$满足${\mathbf{L}}_m={\mathbf{Z}}_m{\mathbf{Z}}_m^T$。但注意，以上提到的${\mathbf{L}}_m$是我们要去找的，现在我们可以通过${\mathbf{Z}}_m$来确定，为了避免${\mathbf{L}}_m$是零矩阵且具有归一化，需要给${\mathbf{Z}}_m$添加限制条件，即$diag({\mathbf{Z}}_m{\mathbf{Z}}_m^T)=1$。
于是，目标表达式最后为：
min ⁡ U , V , W ∥ J ∘ ( Y − U V ) ∥ F 2 + λ ∥ ( V − W T X ) ∥ F 2 + λ 2 R ( U , V , W ) + ∑ m = 1 g ( λ 3 n m n t r ( F 0 T Z m Z m T F 0 ) + λ 4 t r ( F m T Z m Z m T F m ) ) s . t . d i a g ( Z m Z m T ) = 1 , m ∈ { 1 , 2 , … , g } (4) \begin{aligned} & \min_{\mathbf{U, V,W}}\parallel \mathbf{J}\circ(\mathbf{Y} - \mathbf{UV})\parallel_F^2 +\lambda\parallel (\mathbf{V} - \mathbf{W}^T\mathbf{X})\parallel_F^2 +\lambda_2\mathcal{R}(\mathbf{U,V,W}) +\sum\limits_{m=1}^g\left ({ \frac{\lambda_3 n_m}{n}tr(\mathbf{F}_0^T\mathbf{Z}_m\mathbf{Z}_m^T\mathbf{F}_0) +\lambda_4tr(\mathbf{F}_m^T\mathbf{Z}_m\mathbf{Z}_m^T\mathbf{F}_m) }\right )\\ & s.t.\quad\quad diag(\mathbf{Z}_m\mathbf{Z}_m^T)=1,m\in\{1,2,\dots,g\} \end{aligned} \tag{4} ​U,V,Wmin​∥J∘(Y−UV)∥F2​+λ∥(V−WTX)∥F2​+λ2​R(U,V,W)+m=1∑g​(nλ3​nm​​tr(F0T​Zm​ZmT​F0​)+λ4​tr(FmT​Zm​ZmT​Fm​))s.t.diag(Zm​ZmT​)=1,m∈{1,2,…,g}​(4)
其中，$\mathcal{R}(\mathbf{U},\mathbf{V},\mathbf{W})=\parallel \mathbf{U}{\parallel }_F^2+\parallel \mathbf{V}{\parallel }_F^2+\parallel \mathbf{W}{\parallel }_F^2$。
我们通过目标表达式，学习得到$\mathbf{U},\mathbf{V},\mathbf{W}$。
贴上论文中的伪代码：

通过梯度下降法，迭代更新${\mathbf{U},\mathbf{V},\mathbf{W},\mathbf{Z}}_m$：
总体思路：将其中一个作为变量，剩余其它参数作为常量，在目标表达式中对变量进行求偏导，获得梯度方向。



（偷个懒啦~）
总结：在$GLOCAL$算法中，针对每个标签都生成了一个$f_i,i\in [1,\dots ,l]$，期望具有正相关性的标签所对应的模型输出值越相近，具有负相关性的标签所对应的模型输出值差异越大。考虑到标签的相关性在不同的环境下有不同的结果，所以将训练样本又划分成多个局部样本集（哈哈，找到了一个能横向切割的方法），并使用同样的方式获得局部下的目标表达式。结合了标签矩阵的对称性和拉普拉斯矩阵的特点，将复杂的差值求和换成简单的迹的求和。最后，通过梯度下降法来找参数。

现在来填坑：
拉普拉斯矩阵：请移步到这儿。
哈哈，自己动手丰衣足食。
不过，我的拉普拉斯启蒙是从这篇博客开始的：谱聚类（spectral clustering）原理总结

最后，恭喜自己草稿箱又少一篇，这个拖延症该治治了🙃