张量分解系列:
张量分解(一):基础知识
张量分解(二):CP分解
张量分解(三):Tucker分解
张量分解(四):Tensor-train Decomposition
张量分解(五):Tensorizing Neural Network
张量分解(六):TTRNN model for video classification
这一篇文章主要讲解CP分解算法(CANDECOMP/PARAFAC decomposition).
首先,我们必须明确,CP分解是做了什么工作,目的是想干什么。
我来自问自答:CP分解是将一个高维的张量,分解成多个核的和,每个核是由向量的外积组成;通过这样的分解,我们可以大大地降低参数的维度。
其实,不止CP分解,其他的张量分解算法都是同个道理,只是所采用的分解方法不同而已。当然,这样的分解只是原来张量的近似,没办法保证完全复原。
从以上角度来说,张量分解的目的跟矩阵分解是相同的,只是一个是在二维上的分解,另一个是在高维上的分解而已。
好了,开始进入正题。简单来说,CP分解其实就是多个rank-one tensors的和。rank-one tensors请参考上一篇文章:张量分解(一):基础知识
一个三维张量的CP分解如下图所示:
用公式表达如下:
当然,我们还可以将张量X矩阵化:
至于怎么转换的,可能要看一下上一篇文章的Khatri-Rao product,这里不细说。
我们可以使用向量
λ
\lambda
λ对三维向量
a
,
b
,
c
a,b,c
a,b,c进行归一化:
当然,这是当核是三维的情况下,当核是N维时,同个道理:
以上,就是CP分解的介绍。
接下来,我将讲一下CP分解的优化。上面我们已经有了CP分解的形式了,那么我们怎么去优化所有参数,使得分解后跟分解前尽可能的相似呢?
一个常用的方法是使用交替最小二乘法(the alternating least squares,ALS)去优化。我们以三维张量为例,如下所示:
其中,
X
X
X为已知的张量,
X
^
\hat X
X^为待优化的参数,已经被分解成向量外积的形式。
我们这里的优化方法是:先固定
B
,
C
B,C
B,C,优化
A
A
A;接着固定
A
,
C
A,C
A,C,优化
B
B
B;固定
A
,
B
A,B
A,B,优化
C
C
C;然后继续迭代,直到达到终止条件(达到迭代次数或者损失不再降低等)。
对于参数
A
A
A,完整的优化过程如下图所示:
参数
B
,
C
B,C
B,C同理,然后不断迭代即可。
N维tensor完整的交替最小二乘法优化CP分解参数的过程如下图:
以上,便是关于CP分解的所有内容。