（《机器学习》完整版系列）第13章 半监督学习——13.4 正则式框架（标记传播算法迭代式的另一个推导）

由“能量函数”部分和监督部分组成正则表达式，即可从正则框架出发推出标记传播算法迭代式（另一个途径）

正则式框架

观察13.3 标记传播算法的表13.3 ，记矩阵$\mathbf{F}$的第$i$行向量为
$$\begin{array}{r}{\mathbf{F}}_i=(f_i^1,f_i^2,f_i^3,\cdots ,f_i^n)\end{array}\text{\hspace{1em}(13.48)}$$
则矩阵$\mathbf{F}$为
$$\begin{array}{r}\mathbf{F}=({\mathbf{F}}_1;{\mathbf{F}}_2;\cdots ;{\mathbf{F}}_{l+u})\end{array}\text{\hspace{1em}(13.49)}$$
表13.1 对应的矩阵$\mathbf{Y}$的第$i$行向量为${\mathbf{Y}}_i$。

我们将$f$的“能量函数”式(13.40)推广到矩阵$\mathbf{F}$的“能量函数”
$$\begin{array}{r}\frac{1}{2}\left(\sum _{i=1}^{l+u}\sum _{j=1}^{l+u}{w}_{ij}\left|\right|\frac{1}{\sqrt{d_i}}{\mathbf{F}}_i-\frac{1}{\sqrt{d_j}}{\mathbf{F}}_j|{|}_2^2\right)\end{array}\text{\hspace{1em}(13.50)}$$
又，监督部分为
$$\begin{array}{r}\sum _{i=1}^l||{\mathbf{F}}_i-{\mathbf{Y}}_i|{|}_2^2\end{array}\text{\hspace{1em}(13.51)}$$

再将监督部分（式(13.51)度量）纳入正则化中，用系数$\mu >0$平衡式(13.50)与式(13.51)，即
$$\begin{array}{r}L=\text{式(13.50)}+\mu \text{式(13.51)}\end{array}\text{\hspace{1em}(13.52)}$$

其目标是对式(13.52)求最小值，即得正则式框架【西瓜书式(13.21)】。

注意到式(13.50)与式(13.51)的求和范围不一样，我们将式(13.51)调整为
$$\begin{array}{r}\sum _{i=1}^{l+u}||{\mathbf{F}}_i-{\mathbf{Y}}_i|{|}_2^2\end{array}\text{\hspace{1em}(13.53)}$$
当然，调整会损失一些合理性，机器学习中常通过“近似”、“次优”等变通手段，实现计算的可行性。

由此有
$$\begin{array}{r}L=\text{式(13.50)}+\mu \text{式(13.53)}\end{array}\text{\hspace{1em}(13.54)}$$
$$\begin{array}{rl}& \frac{\partial \text{式(13.50)}}{\partial {\mathbf{F}}_k}\\ & =\frac{1}{2}\left(\frac{\partial }{\partial {\mathbf{F}}_k}\sum _{i\ne k}\sum _{j\ne k}[\cdot ]+\frac{\partial }{\partial {\mathbf{F}}_k}\sum _{i=k}\sum _{j\ne k}[\cdot ]+\frac{\partial }{\partial {\mathbf{F}}_k}\sum _{i\ne k}\sum _{j=k}[\cdot ]+\frac{\partial }{\partial {\mathbf{F}}_k}\sum _{i=k}\sum _{j=k}[\cdot ]\right)\\ & =\frac{1}{2}\left(0+\frac{\partial }{\partial {\mathbf{F}}_k}\sum _{i=k}\sum _{j\ne k}[\cdot ]+\frac{\partial }{\partial {\mathbf{F}}_k}\sum _{i\ne k}\sum _{j=k}[\cdot ]+0\right)\\ & =\frac{1}{2}\left(\frac{\partial }{\partial {\mathbf{F}}_k}\sum _{j\ne k}{w}_{kj}\left|\right|\frac{1}{\sqrt{d_k}}{\mathbf{F}}_k-\frac{1}{\sqrt{d_j}}{\mathbf{F}}_j|{|}_2^2+\frac{\partial }{\partial {\mathbf{F}}_k}\sum _{i\ne k}{w}_{ik}||\frac{1}{\sqrt{d_i}}{\mathbf{F}}_i-\frac{1}{\sqrt{d_k}}{\mathbf{F}}_k|{|}_2^2\right)\\ & =\frac{1}{2}\left(\frac{\partial }{\partial {\mathbf{F}}_k}\sum _{j\ne k}{w}_{kj}\left|\right|\frac{1}{\sqrt{d_k}}{\mathbf{F}}_k-\frac{1}{\sqrt{d_j}}{\mathbf{F}}_j|{|}_2^2+\frac{\partial }{\partial {\mathbf{F}}_k}\sum _{i\ne k}{w}_{ki}||\frac{1}{\sqrt{d_i}}{\mathbf{F}}_i-\frac{1}{\sqrt{d_k}}{\mathbf{F}}_k|{|}_2^2\right)\\ & \text{（由W的对称性wik=wki）}\\ & =\frac{1}{2}\left(\frac{\partial }{\partial {\mathbf{F}}_k}\sum _{j\ne k}{w}_{kj}\left|\right|\frac{1}{\sqrt{d_k}}{\mathbf{F}}_k-\frac{1}{\sqrt{d_j}}{\mathbf{F}}_j|{|}_2^2+\frac{\partial }{\partial {\mathbf{F}}_k}\sum _{j\ne k}{w}_{kj}||\frac{1}{\sqrt{d_k}}{\mathbf{F}}_k-\frac{1}{\sqrt{d_j}}{\mathbf{F}}_j|{|}_2^2\right)\\ & =\frac{\partial }{\partial {\mathbf{F}}_k}\sum _{j\ne k}{w}_{kj}\left|\right|\frac{1}{\sqrt{d_k}}{\mathbf{F}}_k-\frac{1}{\sqrt{d_j}}{\mathbf{F}}_j|{|}_2^2\\ & =\sum _{j\ne k}{w}_{kj}\frac{\partial }{\partial {\mathbf{F}}_k}\left|\right|\frac{1}{\sqrt{d_k}}{\mathbf{F}}_k-\frac{1}{\sqrt{d_j}}{\mathbf{F}}_j|{|}_2^2\\ & =2\sum _{j\ne k}{w}_{kj}(\frac{1}{\sqrt{d_k}}{\mathbf{F}}_k-\frac{1}{\sqrt{d_j}}{\mathbf{F}}_j)\frac{1}{\sqrt{d_k}}\text{（由于【西瓜书附录式(A.30)】）}\\ & =2\sum _{j\ne k}{w}_{kj}(\frac{1}{\sqrt{d_k}}{\mathbf{F}}_k-\frac{1}{\sqrt{d_j}}{\mathbf{F}}_j)\frac{1}{\sqrt{d_k}}+2\sum _{j=k}{w}_{kj}(\frac{1}{\sqrt{d_k}}{\mathbf{F}}_k-\frac{1}{\sqrt{d_j}}{\mathbf{F}}_j)\frac{1}{\sqrt{d_k}}\\ & \text{（由于后项j=k，故实际上后项为0）}\\ & =2\sum _{j=1}^{l+u}{w}_{kj}(\frac{1}{\sqrt{d_k}}{\mathbf{F}}_k-\frac{1}{\sqrt{d_j}}{\mathbf{F}}_j)\frac{1}{\sqrt{d_k}}\\ & =2\sum _{j=1}^{l+u}{w}_{kj}\frac{1}{\sqrt{d_k}}\frac{1}{\sqrt{d_k}}{\mathbf{F}}_k-\sum _{j=1}^{l+u}{w}_{kj}\frac{1}{\sqrt{d_j}}\frac{1}{\sqrt{d_k}}{\mathbf{F}}_j\\ & =2d_k\frac{1}{\sqrt{d_k}}\frac{1}{\sqrt{d_k}}{\mathbf{F}}_k-2\sum _{j=1}^{l+u}{w}_{kj}\frac{1}{\sqrt{d_j}}\frac{1}{\sqrt{d_k}}{\mathbf{F}}_j\\ & =2{\mathbf{F}}_k-2\sum _{j=1}^{l+u}\frac{1}{\sqrt{d_k}}{w}_{kj}\frac{1}{\sqrt{d_j}}{\mathbf{F}}_j\end{array}\text{\hspace{1em}(13.55)}$$
其中，$[\cdot ]=w_{ij}||\frac{1}{\sqrt{d_i}}{\mathbf{F}}_i-\frac{1}{\sqrt{d_j}}{\mathbf{F}}_j|{|}_2^2$
，$k=1,2,\cdots ,l+u$。
$$\begin{array}{rl}\frac{\partial \text{式(13.53)}}{\partial {\mathbf{F}}_k}& =\frac{\partial }{\partial {\mathbf{F}}_k}\sum _{i=1}^{l+u}||{\mathbf{F}}_i-{\mathbf{Y}}_i|{|}_2^2\\ & =\frac{\partial }{\partial {\mathbf{F}}_k}\left(\sum _{i=k}+\sum _{i\ne k}\right)||{\mathbf{F}}_i-{\mathbf{Y}}_i|{|}_2^2\\ & =\frac{\partial }{\partial {\mathbf{F}}_k}||{\mathbf{F}}_k-{\mathbf{Y}}_k|{|}_2^2+0\\ & =2({\mathbf{F}}_k-{\mathbf{Y}}_k)\end{array}\text{\hspace{1em}(13.56)}$$

令$\frac{\partial L}{\partial {\mathbf{F}}_k}=0$，即$式(13.55)+式(13.56)=0$
$$\begin{array}{r}2{\mathbf{F}}_k-2\sum _{j=1}^{l+u}\frac{1}{\sqrt{d_k}}{w}_{kj}\frac{1}{\sqrt{d_j}}{\mathbf{F}}_j+2\mu ({\mathbf{F}}_k-{\mathbf{Y}}_k)=0\\ (1+\mu ){\mathbf{F}}_k=\sum _{j=1}^{l+u}\frac{1}{\sqrt{d_k}}{w}_{kj}\frac{1}{\sqrt{d_j}}{\mathbf{F}}_j+\mu {\mathbf{Y}}_k\end{array}\text{\hspace{1em}(13.57)}$$

由式(13.48)，将式(13.57)改写为元素的形式
$$\begin{array}{r}(1+\mu )f_k^q=\sum _{j=1}^{l+u}\frac{1}{\sqrt{d_k}}{w}_{kj}\frac{1}{\sqrt{d_j}}{f}_j^q+\mu y_k^q\\ (1+\mu )f_k^q=\sum _{j=1}^{l+u}{s}_j^k{f}_j^q+\mu y_k^q\end{array}\text{\hspace{1em}(13.58)}$$
其中，$s_j^k=\frac{1}{\sqrt{d_k}}{w}_{kj}\frac{1}{\sqrt{d_j}}$，$k=1,2,\cdots ,l+u;q=1,2,\cdots ,n$。

再根据向量与矩阵（学习一些公式及其推导技巧）中的式(A21)及(A22)，可将式(13.58)表示成矩阵
$$\begin{array}{rl}(1+\mu )\mathbf{F}& =\mathbf{SF}+\mu \mathbf{Y}\end{array}\text{\hspace{1em}(13.59)}$$
其中，$\mathbf{S}$为
$$\begin{array}{rl}\mathbf{S}& =([s_j^k{]}_{kj})\\ & =([\frac{1}{\sqrt{d_k}}{w}_{kj}\frac{1}{\sqrt{d_j}}])\\ & ={\mathbf{U}}_{\mathrm{diag}}\mathbf{W}{\mathbf{V}}_{\mathrm{diag}}\text{（由[向量与矩阵（学习一些公式及其推导技巧）]中的式(A15)）}\end{array}\text{\hspace{1em}(13.60)}$$
其中，对角阵为
$$\begin{array}{rl}{\mathbf{U}}_{\mathrm{diag}}& =\mathrm{diag}(\frac{1}{\sqrt{d_1}},\frac{1}{\sqrt{d_2}},\cdots ,\frac{1}{\sqrt{d_{l+u}}})\\ & ={\mathbf{D}}^{-\frac{1}{2}}\\ {\mathbf{V}}_{\mathrm{diag}}& ={\mathbf{D}}^{-\frac{1}{2}}\\ {\mathbf{D}}_{\mathrm{diag}}& =\mathrm{diag}(d_1,d_2,\cdots ,d_{l+u})\end{array}\text{\hspace{1em}(13.61)(13.62)(13.63)}$$

再令
$$\begin{array}{r}\alpha =\frac{1}{1+\mu }\end{array}\text{\hspace{1em}(13.64)}$$

由式(13.59)至式(13.64)得
$$\begin{array}{r}\mathbf{F}=\alpha \mathbf{SF}+(1-\alpha )\mathbf{Y}\end{array}\text{\hspace{1em}(13.65)}$$
其中，$\mathbf{S}={\mathbf{D}}^{-\frac{1}{2}}\mathbf{W}{\mathbf{D}}^{-\frac{1}{2}}$

将等式(13.65)化为迭代式
$$\begin{array}{r}{\mathbf{F}}^{t+1}=\alpha \mathbf{S}{\mathbf{F}}^t+(1-\alpha )\mathbf{Y}\end{array}\text{\hspace{1em}(13.66)}$$

式(13.66)即为【西瓜书式(13.19)】，这说明从正则框架出发也可以推出迭代式（另一个途径），即推导了【西瓜书式(13.21)】的最优解恰为【西瓜书图13.5】算法的解${\mathbf{F}}^{\ast }$，其$\mu$与$\alpha$的关系为式(13.64)：$\mu =\frac{1-\alpha }{\alpha }$。

本文为原创，您可以：

• 点赞（支持博主）
• 收藏（待以后看）
• 转发（他考研或学习，正需要）
• 评论（或讨论）
• 引用（支持原创）
• 不侵权
  。
  上一篇：13.3 标记传播算法（亲和矩阵、伪概率标记矩阵、能量函数）
  下一篇：13.5 基于分歧的方法（多学习器间的差异、协同训练算法）