多标签分布/多标记分布

多标记分布的损失函数:

根据分布之间距离或者相似度不同的衡量标准，可构成不同的优化目标。下面采用KL散度作为概率分布之间的距离：

$$\begin{equation} \begin{aligned} \boldsymbol{\theta}^*=& arg\min_{\boldsymbol \theta} \sum_i \sum_j \left ( d_{\boldsymbol x_i}^{y_j} \text{ln } \frac{d_{\boldsymbol x_i}^{y_j} }{p(y_j| \boldsymbol x_i; \boldsymbol \theta)} \right )\\ &=arg\max_{\boldsymbol \theta} \sum_i \sum_j d_{\boldsymbol x_i}^{y_j} \text{ln } {p(y_j|\boldsymbol x_i;\boldsymbol \theta)} \end{aligned} \end{equation}$$
利用 $\text{ln }(x/y)=\text{ln } x-\text{ln }y$ 很容易得到。其中 $d_{\boldsymbol x_i}$表示表示样本 $x_i$的标签分布，例如当 $y_i$具有5个取值时， $d_{\boldsymbol x_i}=\{d_{\boldsymbol x_i}^{y_1},d_{\boldsymbol x_i}^{y_2},d_{\boldsymbol x_i}^{y_3},d_{\boldsymbol x_i}^{y_4},d_{\boldsymbol x_i}^{y_5}\}=\{0.1,0.1,0.4,0.2,0.2\}$，其和为1。 $p(y_j|\boldsymbol x_i;\boldsymbol \theta)$表示在参数为 $\theta$的分布下，样本 $\boldsymbol x_i$的“真实标签” $y_j$的取值或者说概率。因此我们的主要任务就变成了如何学习模型参数 $\theta$，但是函数 $p(y_j|\boldsymbol x_i;\boldsymbol \theta)$具体形式还未确定，下面来确定一下其具体的表达式。

确定函数$p(y_j|\boldsymbol x_i;\boldsymbol \theta)$

采用最大熵模型来定义函数：$p(y_j|\boldsymbol x_i;\boldsymbol \theta)$:

$$p(y_j|\boldsymbol x_i;\boldsymbol \theta)=\frac{1}{Z} \text{exp }\left ( \sum_k \theta_{y_j,k} g_k(\boldsymbol x_i)\right )$$
其中 $Z=\sum_{y} \text{exp} (\sum_k \theta_{y,k} g_k(\boldsymbol x_i))$, $y$的为标签分布的取值空间，$k$为特征长度的取值空间。（文字描述的不严格，请详细理解）

因此，完整的损失函数为：

$$\begin{equation} \begin{aligned} \boldsymbol{\theta}^* & =arg \max_{\boldsymbol \theta} f(\boldsymbol \theta) \\ &=arg\max_{\boldsymbol \theta} \sum_i \sum_j d_{\boldsymbol x_i}^{y_j} \text{ln } {p(y_j|\boldsymbol x_i;\boldsymbol \theta)} \\ &=arg\max_{\boldsymbol \theta} \sum_i \sum_j d_{\boldsymbol x_i}^{y_j} \text{ ln } {\frac{1}{\sum_y \text{exp} (\sum_k \theta_{y,k} g_k(\boldsymbol x))} \text{exp }\left ( \sum_k \theta_{y_j,k} g_k(\boldsymbol x_i)\right ) } \end{aligned} \end{equation}$$
很容易证明函数 $f(\theta)$是凹函数。
$$\begin{equation} \begin{aligned} f(\boldsymbol{\theta}) &=\sum_i \sum_j d_{\boldsymbol x_i}^{y_j} \text{ ln } {\frac{1}{\sum_y \text{exp} (\sum_k \theta_{y,k} g_k(\boldsymbol x))} \text{exp }\left ( \sum_k \theta_{y_j,k} g_k(\boldsymbol x_i)\right ) } \end{aligned} \end{equation}$$
其中 $d_{\mathbf x_i}^{y_j}\geq 0$,我们只需要证明下面的子函数为凹函数即可：

$$\begin{equation} \begin{aligned} g(\boldsymbol{\theta}) &= \text{ ln } {\frac{1}{\sum_y \text{exp} (\sum_k \theta_{y,k} g_k(\boldsymbol x_i))} \text{exp }\left ( \sum_k \theta_{y_j,k} g_k(\boldsymbol x_i)\right ) } \\ &=\text{ ln } \text{exp} \left ( \sum_k \theta_{y_j,k} g_k(\boldsymbol x_i)\right )-\text{ ln }{\sum_y \text{exp} (\sum_k \theta_{y,k} g_k(\boldsymbol x_i))} \\ &={\color {red}{\sum_k \theta_{y_j,k} g_k(\boldsymbol x_i) }}-{ \color {blue}{\text{ ln }{\sum_y \text{exp} (\sum_k \theta_{y,k} g_k(\boldsymbol x_i))} }} \end{aligned} \end{equation}$$
红色部分是仿射函数的线性组合，其是凹函数（或凸函数）。
已知函数:
$$h(z)=\text{ log }\left ( \sum_{i=1}^k e^{z_i}\right )$$
是凸函数 [4]，并且 $\sum_k \theta_{y,k} g_k(\boldsymbol x_i))$是凸函数（或凹函数），那么蓝色的部分为凸函数。但是前面有个负号，因此是凹函数。则凹函数+凹函数，还是一个凹函数。因此函数 $f(\boldsymbol \theta)$是凹函数。

矢量编程

函数$f(\boldsymbol \theta)$的表达式中，还有三个叠加符号，即涉及到对样本$i$，标签分布$j$，以及特征索引$k$的求和运算。在算法中可能要涉及到函数值的求解，因此我们也不可能在Matlab中套用三层for循环来求解。

函数值$f(\boldsymbol \theta)$

假定训练数据具有格式(详细参考[5])：

trainFeature 为 [2000 2045]的矩阵，其中2000为样本的数量，2045为特征的长度.
trainDistribution 为[2000 5]的矩阵，其中2000为样本数量，5为标签分布，并且满足，每行元素之和为1.

modProb = exp(trainFeature * weights);  % size_sam * size_Y
sumProb = sum(modProb, 2);
modProb = modProb ./ (repmat(sumProb,[1 size(modProb,2)]));
target = -sum(sum(trainDistribution.*log(modProb)));

由上述代码中可以看出，target=$-f(\boldsymbol \theta)$,其中$\boldsymbol \theta$就是weights.其是大小为2045*5（特征长度*标签分布）

梯度grad($\boldsymbol \theta$)

从上述公式$g_0(\boldsymbol \theta)=d_{\mathbf x_i}^{y_j}*g(\boldsymbol \theta)$，其相当于单个样本$\mathbf x_i$对参数$\theta_{y,k}$的变更。(注意这里的$\boldsymbol \theta$只是总的参数的一个分量)：

$$\begin{equation} \begin{aligned} \frac{\partial g_0(\boldsymbol{\theta})}{\partial \boldsymbol{\theta}} &=d_{\mathbf x_i}^{y_j} \left (g(\boldsymbol x_i) -\frac{\partial \text{ ln }{\sum_y \text{exp} (\sum_k \theta_{y,k} g_k(\boldsymbol x_i))} }{\partial \boldsymbol{\theta}} \right )\\ &=d_{\mathbf x_i}^{y_j} g(\boldsymbol x_i) -d_{\mathbf x_i}^{y_j}\frac{1}{\sum_y \text{exp} (\sum_k \theta_{y,k} g_k(\boldsymbol x_i))}* \sum_y \left ( \text{exp} (\sum_k \theta_{y,k} g_k(\boldsymbol x))* g(\boldsymbol x_i) \right) \end{aligned} \end{equation}$$
上述公式表达不够准确，其中第一项对应一个矢量，第二个项对应为一个矩阵。 $\sum_y$中的y控制更新那一列。梯度是一个矩阵的形式。那么针对其中一个元素的偏导数为：
$$\begin{equation} \begin{aligned} \frac{\partial g_0(\boldsymbol{\theta})}{\partial {\theta_{y_j,k}}} &=d_{\mathbf x_i}^{y_j} g_k(\boldsymbol x_i) -d_{\mathbf x_i}^{y_j}\frac{1}{\sum_y \text{exp} (\sum_k \theta_{y,k} g_k(\boldsymbol x_i))}* \left ( \text{exp} (\sum_k \theta_{y_j,k} g_k(\boldsymbol x))* g_k(\boldsymbol x_i) \right) \\ &=g_k(\boldsymbol x_i)* \left (d_{\mathbf x_i}^{y_j}-\frac{1}{\sum_y \text{exp} (\sum_k \theta_{y,k} g_k(\boldsymbol x_i))}*\text{exp} (\sum_k \theta_{y_j,k} g_k(\boldsymbol x))\right ) \end{aligned} \end{equation}$$

代码为：

gradient = trainFeature'*(modProb-trainDistribution)

我们同样的我们注意到其是求解$-f(\boldsymbol \theta)$的梯度。

参考文献：
1. 标记分布学习及其应用. [季荣姿]
2. Label Distribution Learning [ tkde 2016]
3. http://cse.seu.edu.cn/people/xgeng/index.htm [geng xin professor]
4. 凸优化 [stephen Boyd]
5. LDLPackage_v1.2