多视角子空间学习系列之 MCCA (Multi-view CCA) 多视角CCA Horst算法

优化目标

前面已经讲了典型相关分析CCA，并且提到，CCA是一种双视角的方法，只能处理视角数为2的情况。为了将CCA应用于更多视角，一些研究人员提出了MCCA(Multi-view CCA)，即多视角CCA，将CCA直观地扩展到多视角版本。给定$m$个视角$X_1,X_2,\cdots ,X_m$，其中第$i$个视角$X_i\in {\mathbb{R}}^{D_i\times n}$，$D_i$为其维度，$n$为样本数量，各视角样本数量相同。MCCA希望找到$W_1,W_2,\cdots ,W_m$将各视角投影到公共子空间，其中$W_i\in {\mathbb{R}}^{D_i\times d}$，$d$为子空间维度，使得子空间中任意两个视角之间的相关系数之和：
$$\begin{gathered} \underset{W_1,\cdots ,W_m}{\max }\sum _{i,j}^m{W}_i^T{X}_i{X}_j^T{W}_j \\ s.t.W_i^T{X}_i{X}_i^T{W}_i=I \end{gathered}$$

本文仍然既是总结又是读论文笔记。

$d=1$的情况

$d>1$ 的情况有点复杂，先看$d=1$的情况如何解。首先$d=1$时，为了方便，我们用$w_1,\cdots ,w_m$代替$W_1,\cdots ,W_m$，上式写为：
$$\begin{gathered} \underset{w_1,\cdots ,w_m}{\max }\sum _{i,j}^m{w}_i^T{X}_i{X}_j^T{w}_j \\ s.t.w_i^T{X}_i{X}_i^T{w}_i=1\text{\hspace{1em}(1)} \end{gathered}$$

令$C^{(i,i)}=X_i{X}_i^T$，对$C^{(i,i)}$做Cholesky分解得$C^{(i,i)}=D_i^T{D}_i$，其实$D_i=X_i^T$，然后令$X_i^T{w}_i=x_i$，则$w_i=D_i^{-1}{x}_i$. 令：
$$A_{ij}=D_i^{-T}{C}^{(i,j)}{D}_j^{-1}$$

我就寻思这$A_{ij}$其实是个单位矩阵。原文这么写有他的道理。往后看吧。然后公式$(1)$就可以写为：
$$\begin{gathered} \underset{x_1,\cdots ,x_m}{\max }\sum _{i,j}^m{x}_i^T{A}_{ij}{x}_j \\ s.t.x_i^T{x}_i=1 \end{gathered}$$

进一步写为：
$$\begin{gathered} \underset{x}{\max }{x}^{T}Ax \\ s.t.x_i^T{x}_i=1 \end{gathered}$$

这里的$x$是由$x_1,\cdots ,x_m$这$m$个列向量拼成的列向量。但是算的时候又按照矩阵分块运算来来算的。我们来套一下Lagrangian乘子法：
$$L(x,\lambda )=\sum _{i,j}^m{x}_i^T{A}_{ij}{x}_j+\sum _i^m{\lambda }_i(1-x_i^T{x}_i)$$

对$x_i$求导：
$$\begin{gathered} \frac{\partial }{\partial x_i}L(x,\lambda )=\sum _j^m{A}_{ij}{x}_j-2{\lambda }_i{x}_i=0 \\ \sum _j^m{A}_{ij}{x}_j=2{\lambda }_i{x}_i \end{gathered}$$

因此构成一个大的矩阵块的形式：
$$\left[\begin{array}{ccc}{A}_{11}& \cdots & A_{1m}\\ ⋮& \ddots & ⋮\\ A_{m1}& \cdots & A_{mm}\end{array}\right]\left[\begin{array}{c}{x}_1\\ ⋮\\ x_m\end{array}\right]=\left[\begin{array}{c}{\lambda }_1{x}_1\\ ⋮\\ {\lambda }_m{x}_m\end{array}\right]$$

这里把所有$2{\lambda }_i$都写成${\lambda }_i$的形式了，都是常数参数而已。注意本文对$A$矩阵的定义与原文不同。

然后该问题就变成了一个多元的广义特征值与特征向量问题。文章里面对于这种$A$为对称、正定的generic matrix（特征值都不相同的矩阵），使用了一种普遍的算法Horst算法：

步骤上是容易理解的，这是一种迭代算法，$x$需要有一个人为设置的初值，$maxiter$是人为设置的最大迭代次数。Horst算法的正确性和思路都有由来，但是我现在不想再细究了，论文里说这个算法能保证收敛到一种局部最优解。

形式转换

论文在这里做了一些形式转换，加了一些正则化考虑。公式$(1)$中，如果特征维度$D_i$小于样本数$n$，$X_i{X}_i^T$有可能是奇异的（不可逆的），而且有可能造成过拟合。因此文章将公式$(1)$改为如下形式：
$$\begin{gathered} \underset{w_1,\cdots ,w_m}{\max }\sum _{i,j}^m{w}_i^T{X}_i{X}_j^T{w}_j \\ s.t.w_i^T(\frac{1-\kappa }{D_i-1}{X}_i{X}_i^T+\kappa I)w_i=1 \end{gathered}$$

其中$\kappa \in [0,1]$，然后令$w_i=X_i{y}_i,K_i=X_i^T{X}_i$，则$y_i=X_i^{-1}{w}_i$，然后上式等价于：
$$\begin{gathered} \underset{y}{\max }\sum _{i,j}{y}_i^T{K}_i{K}_j^T{y}_j \\ s.t.y_i^T(\frac{1-\kappa }{D_i-1}{K}_i{K}_i^T+\kappa K_i)y_i=1 \end{gathered}$$

推导上注意，矩阵转置的逆等于其逆的转置。文章认为这么做的好处是便于引入使用核函数。

进一步，文章认为$K_i$也是Typically病态的，甚至数据中心化后经常是奇异矩阵，并且处于限制方差和系数的原因，令：
$$\widetilde{K_i}=(\sqrt{\frac{1-\kappa }{D_i-1}}{K}_i+\frac{\kappa }{2}\sqrt{\frac{D_i-1}{1-\kappa }}I)$$

因此：
$$\frac{1-\kappa }{D_i-1}{K}_i{K}_i^T+\kappa K_i\approx \widetilde{K_i}{\widetilde{K_i}}^T$$

因此最终把优化目标的形式变为：
$$\begin{gathered} \underset{y}{\max }\sum _{i,j}{y}_i^T{K}_i{K}_j^T{y}_j \\ s.t.y_i^T\widetilde{K_i}{\widetilde{K_i}}^T{y}_i=1 \end{gathered}$$

$d>1$的情况

接上文。$d>1$时，优化目标为：
$$\begin{gathered} \underset{y}{\max }\sum _{i,j}{y}_i^T{K}_i{K}_j^T{y}_j \\ s.t.y_i^T\widetilde{K_i}{\widetilde{K_i}}^T{y}_i=1 \\ {Y}_i^T\widetilde{K_i}{\widetilde{K_i}}^T{y}_i=0 \end{gathered}$$

这啥意思呢，$y_i$表示的是一个维度，因为$d>1$，子空间中各个维度应该是互不相关的，这里$Y_i$表示的除了$y_i$之外的其他维度。

为了应用Horst算法，论文先做如下转换：
$$Z_i=\widetilde{K_i}{Y}_i,z_i=\widetilde{K_i}{y}_i$$

然后定义算子：
$$P_i=I-\widetilde{K_i}{Y}_i{Y}_i^T\widetilde{K_i}=I-Z_i{Z}_i^T$$

然后优化目标可以写为：
$$\begin{gathered} \underset{z}{\max }\sum _{i,j}{z}_i^T{\widetilde{K_i}}^{-T}{K}_i{K}_j^T{\widetilde{K_j}}^{-1}{z}_j \\ s.t.z_i^T{z}_i=1 \\ {Z}_i^T{z}_i=0 \end{gathered}$$

然后可以进一步写为：
$$\begin{gathered} \underset{z}{\max }\sum _{i,j}{z}_i^T{P}_i^T{\widetilde{K_i}}^{-T}{K}_i{K}_j^T{\widetilde{K_j}}^{-1}{P}_j{z}_j \\ s.t.z_i^T{z}_i=1=1 \end{gathered}$$

这是因为$P_i{z}_i=z_i-Z_i{Z}_i^T{z}_i=z_i$，这么写把一个约束条件考虑了进去。然后文章在这里再加了一项：
$$\begin{gathered} \underset{z}{\max }\sum _{i,j}{z}_i^T{P}_i^T{\widetilde{K_i}}^{-T}{K}_i{K}_j^T{\widetilde{K_j}}^{-1}{P}_j{z}_j+\sum _i{z}_i^T{z}_i \\ s.t.z_i^T{z}_i=1=1 \end{gathered}$$

进一步写为：
$$\begin{gathered} \underset{z}{\max }{z}^{T}Az \\ s.t.z_i^T{z}_i=1 \end{gathered}$$

个人觉得加的这一项不是很必要，可能是因为核函数的缘故才要这么加，难不成文章认为$y_i^T{K}_i{K}_i^T{y}_i=0$吗？不可思议。
$A$是分块矩阵，定义为：
$$A_{ij}=\{\begin{array}{ccc}{P}_i^T{\widetilde{K_i}}^{-T}{K}_i{K}_j^T{\widetilde{K_j}}^{-1}{P}_j& & for:i\ne j\\ I& & for:i=j\end{array}$$

然后文章里证明了一下$A$矩阵是正定的，这里不写了。因此可以用Horst算法，如下。

真的真的很费劲。理解Horst算法就用$d=1$就好了。

总结

MCCA在使用上没有什么可用性，也不是这个领域比较好的算法，但是读完这篇论文，我们至少知道了多元特征值问题可以用Horst算法解，并能写出这种名为“MCCA”的算法的代码了。令我有点惊讶的是，直接在网上搜Horst算法没搜出来什么有用的东西，但是一搜多元特征值问题就看到有硕士论文是做这个Horst算法改进的。这个故事告诉我们，在别的领域其实研究的比较多的，已经有经典解的问题，只是因为我们的不熟悉而让自己被卡了壳。所以要多学习，多了解啊。

参考文献

[1] Rupnik J, Shawe-Taylor J. Multi-view canonical correlation analysis[C]//Conference on Data Mining and Data Warehouses (SiKDD 2010). 2010: 1-4.