ALS计算CP分解

Tensor rank

众所周知，CP分解就是将一个张量分解为一系列秩一张量之和。

那么在计算CP分解之前，首先我们会遇到的一个问题就是如何确定张量的秩？也就是应该选择多少个秩一张量来组成原始张量呢？

不幸的是，确定张量的秩是一个NP-hard问题，目前，已知的只能够确定一个张量秩的上界。

例如，对于一个一般的三维张量而言，$\chi \in R^{I\times J\times K}$, 它的秩遵循如下约束：

对于更多的关于张量秩的讨论不在这篇文章中提及，因此，在下面计算CP分解时，假设是在给定张量秩的前提下。

ALS计算CP分解

计算CP分解最为简单且常见的一个方法就是交替最小二乘法ALS。

首先，提起CP分解，大家可能想到的是一系列秩一张量之和的形式，也就是像这张最经典的图：

但是，在CP分解的计算过程中，大家必须掌握下面这种矩阵展开形式：

如果对于这种形式你还比较陌生，建议先去看一下这篇文章：
CP and Tucker 分解

ALS求解：

假设 χ ∈ R