超详细！CP、Tucker分解

本文旨在对张量的CP、Tucker分解进行超详细讲解，希望能够帮助读者对这俩张量分解算法有深刻的理解。

本文主要分成三个部分：section1主要介绍Notation and Preliminaries、section2介绍CP分解、section3介绍Tucker分解

Introduction

首先，给出本文最关键的一个点：

这两种张量分解算法可以被看做是张量奇异值分解的高阶扩展：CP分解将张量分解为秩一张量之和，Tucker分解是主成成分分析（PCA）的高阶形式。

Notation and Perliminaries

1.何为张量？

向量是一维，矩阵是二维，张量就代表三维及以上，或者说，我们可以将张量理解为高阶矩阵

这里我举一个具体的应用场景：在网络测量领域，如果我们想要测量 $n$ 个网络设备之间的延迟，那么，很自然地，在具体的某一时刻，我们会将这 $n$ 个网络设备两两之间通信的延迟表示为一个 $n\times n$矩阵。接下来，如果我们收集了许多不同时刻的数据，比方说 $n_3$ 个时刻，我们将这些数据排列起来，这样就构成了一个 $n\times n\times n_3$ 张量，如下图所示

2.Fiber?

Fiber: 直译的话就是纤维（感觉这么翻译多少有点奇怪，因此还是直接用Fiber吧）

Fiber是矩阵行和列的高阶类似物，因此，我们不妨先来看看矩阵的Fiber。上图是一张纤维（真的是纤维！）的图片，我们可以看到，在矩阵中，Fiber其实也就是代表着行和列。

那么在张量中呢？话不多说，直接上图。

这张图还是很直观的，相信大家也对Fiber有了一个直观的理解。
严谨起见，还是给出三阶张量中不同方向的Fiber的符号表示：$X_{:,j,k}$ 、 $X_{i,:,k}$ 、 $X_{i,j,:}$ 可以与上图一一对应。

3.Slice?

Slice: 翻译成切片
和Fiber类似，张量的不同维度也是对应着不同的切片方式：水平切片、侧面切片、正面切片

正面切片也就对应着我们文章开头提到的网络延迟测量的例子。

三阶张量的切片的符号表示： $X_{i,:,:}$ 、 $X_{:,j,:}$ 、 $X_{:,:,k}$

我们可以对比一下Fiber以及切片的符号表示，可以看出来，Fiber是固定三阶张量的两个维度，切片是固定三阶张量的一个维度。如果扩展到更 $n$ 阶的张量，那么Fiber是固定张量的 $n-1$ 个维度，切片是固定张量的 $n-2$ 个维度。

4.norm

假设现在有张量 $\chi \in R^{I_1\times I_2\times \cdot \cdot \cdot \times I_N}$ ，张量的范数定义为张量的各个元素 ${\chi }_{ijk}$ 的平方和开根号，用公式表示如下：

可以看到，这里张量范数的定义和矩阵的 Frobenius 范数定义是类似的，更多关于矩阵范数的整理在我的这篇文章：矩阵基础 | 向量范数与矩阵范数

5.张量内积

张量的内积？在此之前我们不妨先回忆一下向量的内积与外积，向量的内积就是两个向量对应元素乘积之和，结果是个标量，两个向量外积结果是一个矩阵，三个向量外积是一个三阶张量。
此处张量内积的定义和向量内积是类似的，即张量对应元素乘积之和：

6.秩一张量？

顺着我们刚才提到过的三个向量外积是一个三阶张量的概念，我们引出秩一张量的概念。
为了大家更好的理解，我们可以先来回忆一下矩阵SVD的概念：

上图是矩阵SVD分解的示意图，一个矩阵可以分解为左右奇异向量矩阵以及一个奇异值矩阵的乘积形式。我们现在不妨以另外一种角度来看待矩阵的SVD分解：

我们如果拿出第一个左奇异向量以及第一个右奇异向量，这两个向量做外积，我们就可以得到一个矩阵，同时这两个奇异向量对应同一个奇异值，我们尝试将奇异值理解为这两个向量外积得到的这个矩阵的在原始矩阵中所占的权重，以此类推我们就可以得到所有奇异值对应的左右奇异向量外积的结果矩阵，然后将这些矩阵加起来就得到了原始矩阵。

现在回到我们的问题，秩一张量。在此，我先给出秩一张量的定义，相信大家对照上面我们对矩阵SVD分解的理解，理解秩一张量也就不是难事儿了。

再次回到矩阵SVD分解的场景，上式的定义放在矩阵情况下，似乎应该就是这个样子：矩阵做SVD分解以后，奇异值矩阵中第一个奇异值为1，剩下的奇异值都为0。因此，奇异值为1对应的左右奇异向量的外积所得到的矩阵就是原始矩阵。

如果你对这一段内容有所理解的话，那么在section2要介绍的CP分解对你来说一定不是难点

7.对角张量

类似于对角矩阵，对角张量很好理解，因此直接上图。

8. 张量矩阵化与向量化

在张量的分析与计算中，经常希望用一个矩阵代表一个三阶张量。此时，就需要有一种运算，能够将一个三阶张量（三路阵列）经过重新组织或者排列，变成一个矩阵（二路阵列）。将一个三路或N路阵列重新组织成一个矩阵形式的变换称为张量的矩阵化。张量的矩阵化有时也称张量的展开或张量的扁平化。
除了高阶张量的唯一矩阵表示外，一个高阶张量的唯一向量表示也是很多场合感兴趣的。高阶向量的向量化是一种将张量排列成唯一一个向量的变换。

在张量的矩阵化过程中，首先可以分为水平展开与纵向展开，然后可以进一步细分为Kiers展开、LMV展开、Kolda展开。在此，我们仅介绍Kolda水平展开。

Kolda于2006年提出该方法，将 N 阶张量元素 $a_{i_1,i_2,\cdot \cdot \cdot ,i_N}$ 映射为模式-n矩阵 $A_{(n)}$ 的元素 $a_{i_n,j}^{I_n\times I_1\cdot \cdot \cdot }$