Paper notes(5): All-at-once Optimization for Coupled Matrix and Tensor Factorizations
本文只是个人用于记录论文学习笔记,如有写错的地方还望各位大佬批评指正。
1.文章所做的工作
数据融合的问题可以表示为一个耦合矩阵和张量因子分解问题 ( C M T F ) (CMTF) (CMTF),解决 C M T F CMTF CMTF 问题的传统方式是使用交替最小二乘法 ( A L S ) (ALS) (ALS),文章提出了一种叫做 C M T F - O P T CMTF \text{-} OPT CMTF-OPT 的一次性优化算法——这种算法是基于梯度优化的;同时,文章将该算法进行扩展用于处理耦合的不完整数据集;最后,文章通过数据实验证明了 C M T F - O P T CMTF \text{-} OPT CMTF-OPT 比 C M T F - A L S CMTF \text{-} ALS CMTF-ALS 更精确。
2.相关模型
2.1 CMTF基本模型
假设有一个三维张量 X ∈ R I × J × K \mathcal{X} \in \mathbb{R}^{I \times J \times K} X∈RI×J×K和一个矩阵 Y ∈ R I × M \bm{Y} \in \mathbb{R}^{I \times M} Y∈RI×M,它们在第一维相互耦合。通过 C M T F CMTF CMTF可以提取出这些数据集中的共同潜在结构,其中 R R R分量的 C M T F CMTF CMTF模型可以表示为:
f ( A , B , C , V ) = ∥ X − ⟦ A , B , C ⟧ ∥ 2 + ∥ Y − A V T ∥ 2 (1) \tag{1} f(\bm{A},\bm{B},\bm{C},\bm{V}) = \lVert \bm{\mathcal{X}} - \llbracket{\bm{A},\bm{B},\bm{C}}\rrbracket \rVert^2 + \lVert \bm{Y} - \bm{AV^T} \rVert^2 f(A,B,C,V)=∥X−[[A,B,C]]∥2+∥Y−AVT∥2(1)
其中 A , B , C \bm{A},\bm{B},\bm{C} A,B,C是张量 X \mathcal{X} X根据 C P CP CP分解得到的因子矩阵,它们的列数为 R R R;矩阵 Y \bm{Y} Y分解为矩阵 A , V ∈ R M × R \bm{A}, \bm{V} \in \mathbb{R}^{M \times R} A,V∈RM×R。
2.2 CMTF-OPT模型
现有张量 X ∈ R I 1 × I 2 × … × I N , Y ∈ R I n × M \mathcal{X} \in \mathbb{R}^{I_1 \times I_2 \times \dotsc \times I_N}, \bm{Y} \in \mathbb{R}^{I_n \times M} X∈RI1×I2×…×IN,Y∈RIn×M,它们在第 n n n维耦合,则这两个数据集耦合分析的目标函数为:
min f ( A ( 1 ) , A ( 2 ) , … , A ( N ) , V ) = min 1 2 ∥ X − ⟦ A ( 1 ) , A ( 2 ) , … , A ( N ) ⟧ ∥ 2 + 1 2 ∥ Y − A ( n ) V T ∥ 2 (3) \tag{3} \min f(\bm{A^{(1)}},\bm{A^{(2)}},\dotsc,\bm{A^{(N)}},\bm{V}) = \min \cfrac{1}{2}{\lVert{\mathcal{X} - \llbracket{\bm{A^{(1)}},\bm{A^{(2)}},\dotsc,\bm{A^{(N)}}}\rrbracket}\rVert}^2 + \cfrac{1}{2}{\lVert{\bm{Y} - \bm{A^{(n)}V^T}}\rVert}^2 minf(A