Paper notes（5）: All-at-once Optimization for Coupled Matrix and Tensor Factorizations

本文只是个人用于记录论文学习笔记，如有写错的地方还望各位大佬批评指正。

1.文章所做的工作

  数据融合的问题可以表示为一个耦合矩阵和张量因子分解问题$(CMTF)$，解决 $CMTF$ 问题的传统方式是使用交替最小二乘法$(ALS)$，文章提出了一种叫做 $CMTF\text{-}OPT$ 的一次性优化算法——这种算法是基于梯度优化的；同时，文章将该算法进行扩展用于处理耦合的不完整数据集；最后，文章通过数据实验证明了 $CMTF\text{-}OPT$ 比 $CMTF\text{-}ALS$ 更精确。

2.相关模型

2.1 CMTF基本模型

  假设有一个三维张量$\mathcal{X}\in {\mathbb{R}}^{I\times J\times K}$和一个矩阵$\mathbf{Y}\in {\mathbb{R}}^{I\times M}$，它们在第一维相互耦合。通过$CMTF$可以提取出这些数据集中的共同潜在结构，其中$R$分量的$CMTF$模型可以表示为：
$$f(\mathbf{A},\mathbf{B},\mathbf{C},\mathbf{V})=\Vert \mathcal{X}-[[\mathbf{A},\mathbf{B},\mathbf{C}]]{\Vert }^2+\Vert \mathbf{Y}-\mathbf{A}{\mathbf{V}}^{\mathbf{T}}{\Vert }^2\text{\hspace{1em}(1)}$$

其中$\mathbf{A},\mathbf{B},\mathbf{C}$是张量$\mathcal{X}$根据$CP$分解得到的因子矩阵，它们的列数为$R$;矩阵$\mathbf{Y}$分解为矩阵$\mathbf{A},\mathbf{V}\in {\mathbb{R}}^{M\times R}$。

2.2 CMTF-OPT模型

  现有张量$\mathcal{X}\in {\mathbb{R}}^{I_1\times I_2\times \dots \times I_N},\mathbf{Y}\in {\mathbb{R}}^{I_n\times M}$，它们在第$n$维耦合，则这两个数据集耦合分析的目标函数为：
min ⁡ f ( A ( 1 ) , A ( 2 ) , … , A ( N ) , V ) = min ⁡ 1 2 ∥ X − ⟦ A ( 1 ) , A ( 2 ) , … , A ( N ) ⟧ ∥ 2 + 1 2 ∥ Y − A ( n ) V T ∥ 2 (3) \tag{3} \min f(\bm{A^{(1)}},\bm{A^{(2)}},\dotsc,\bm{A^{(N)}},\bm{V}) = \min \cfrac{1}{2}{\lVert{\mathcal{X} - \llbracket{\bm{A^{(1)}},\bm{A^{(2)}},\dotsc,\bm{A^{(N)}}}\rrbracket}\rVert}^2 + \cfrac{1}{2}{\lVert{\bm{Y} - \bm{A^{(n)}V^T}}\rVert}^2 minf(A