t-svd张量分解算法详解

讲解论文

讲解我们张量分解上面经常说的t-svd内容，原论文题目如下：
Factorization strategies for third-order tensors
论文链接：link

所需基础知识

拥有高中基础水平知识，并且学习了部分矩阵分析内容

背景知识介绍

我们先来规定一些特定的符号，不再在下文重复解释。

符号	意义
x	标量（就是单纯的任意一个数）
$\mathbf{x}$	列向量
$X$	矩阵
$X^T$	矩阵转置
$X^{-1}$	矩阵求逆
$\mathcal{X}$	张量
$\otimes$	克罗内克积

什么是svd分解？

首先，我们可能先要知道svd分解是什么东西（当然，可以跳过这一小节呀）。实际上，我们只用把这个svd分解当做一个计算方法来理解就行。就是如果你对一个矩阵用了这种计算方法，你就会得到三个矩阵（知道这个就行啦，当然也要知道这三个矩阵长什么样子）。这三个矩阵长什么样子呢，我们可以看看下面定义：

定义1：svd分解

在矩阵上，假设我们有一个矩阵$A\in R^{I_1\times I_2}$，那么我们可以认为，这个矩阵可以有以下形式的分解：
$$A=U\Sigma V^T$$
其中，矩阵$U\in R^{I_1\times I_1}$和矩阵$V\in R^{I_2\times I_2}$是酉矩阵（可以理解为正交矩阵，细节不同可以网上搜一下），$\Sigma \in R^{I_1\times I_2}$矩阵是一个对角矩阵，每个对角线元素是矩阵$A$的奇异值。（什么是奇异值呢？我们们可以理解为矩阵的一种特征值，有很多关键的特征信息在这些值上面，在矩阵分析里面相当有用。再具体不解释，感兴趣可以网上搜索啦）。

什么是张量？

在我们张量分解领域，张量其实就是高阶的数组。矩阵一般就是二阶张量，然后列向量和行向量就是一阶张量，单纯一个数（标量）就是0阶张量。一个三阶张量$\mathcal{X}\in R^{I_1\times I_2\times I_3}$（就是你有个数组，是三个维度的，大小是$I_1\times I_2\times I_3$）。画出图像，就应该是一个立方体。当然，更高阶就是更高维数组。

t-svd分解详解

来，我们直接上手，t-svd长啥样！

正式定义t-svd！

我们假设我们有一个三阶张量$\mathcal{A}\in R^{n_1\times n_2\times n_3}$，他身上的数都是实数昂，没考虑虚数情况。那么，我们可以有t-svd分解：
$$\mathcal{A}=\mathcal{U}\ast \mathcal{S}\ast {\mathcal{V}}^T$$
其中，$\mathcal{U}\in R^{n_1\times n_1\times n_3}$和$\mathcal{V}\in R^{n_2\times n_2\times n_3}$都是正交张量，然后$mathcalS\in R^{n_1\times n_2\times n_3}$是个对角张量。
我只有一个张量$\mathcal{A}$，我们怎么计算得到这三个张量呢？
算法如下：

$fft()$和$ifft()$是matlab的傅里叶变换函数命令，svd也是matlab自带函数。

疑惑问题

蒙了吧，什么又是正交张量？什么又是对角张量？张量符号$\ast$又是什么意思？凭什么能有这样子形式的分解？为什么这样子计算能够就能够得到这些张量？有什么意义吗这样的分解形式？带着这些疑问，我们慢慢往下看昂。

解惑前需要学习的定义：

我们在解决上面的问题的时候，先来看看原论文给出的一些定义：
如果一个列向量$\mathbf{v}$：
$$\mathbf{v}=[v_0{v}_1{v}_2{v}_3{]}^T$$
然后有循环操作：
$$cicr(\mathbf{v})=\left[\begin{array}{llll}{v}_0& v_3& v_2& v_1\\ v_1& v_0& v_3& v_2\\ v_2& v_1& v_0& v_3\\ v_3& v_2& v_1& v_0\end{array}\right]$$
这种循环操作$\mathbf{v}$后得到的矩阵叫做循环矩阵。其实在矩阵分析中，有个公认的事实：假设有个列向量$\mathbf{v}\in R^{n\times 1}$，他的离散傅里叶变换矩阵为$F_n\in R^{n\times n}$，那么就有
$$F_{n}cicr(\mathbf{v})F_n^{-1}$$
这个运算得到的是一个对角矩阵。并且对角上的元素都是和你直接对列向量$\mathbf{v}$进行傅里叶变换得到的元素是一模一样的。
理解：对列向量$\mathbf{v}$做傅里叶变换，实际就是让$\mathbf{v}$左乘一个傅里叶变换矩阵$F_n$。对，没错和上面公式上面的是同一个$F_n$。也就是$diag(F_n\mathbf{v})=F_{n}cicr(\mathbf{v})F_n^{-1}$。其中，$diag()$ 函数就是将列向量重新排列成一个对角矩阵。具体为什么会相等呢，有兴趣的小伙伴可以自己手推一下，看一下傅里叶变换矩阵的性质，实际上是相等的。懒得推导不太相信的小伙伴也可以用matlab或者其他代码验证一项左边右边是否相等就行。记住这个公式，拿来用就行。

假设现在有一个三阶张量$\mathcal{A}\in R^{n_1\times n_2\times n_3}$，那么我们定义：
$$\mathrm{circ}(\mathcal{A})=\left[\begin{array}{ccccc}{A}_1& A_{n_3}& A_{n_3-1}& \dots & A_2\\ A_2& A_1& A_{n_3}& \dots & A_3\\ ⋮& \ddots & \ddots & \ddots & ⋮\\ A_{n_3}& A_{n_3-1}& \ddots & A_2& A_1\end{array}\right]\text{, }$$
其中，$A_i$表示的是张量$\mathcal{A}$的第$i$个前向切片，数学上写出来是$\mathcal{A}(:,:,i)$，在matlab上你可以读作：数组$\mathcal{A}$的全部行的全部列的第i个矩阵。可能你会说还有什么$\mathcal{A}(i,:,:)$、$\mathcal{A}(:,i,:)$，为了不影响记忆顺序，不会介绍他们的学术名字，只要记得$\mathcal{A}(:,:,i)$是前向切片就行，用$A_i$表示。

再来个定义：
$$\mathrm{MatVec}(\mathcal{A})=\left[\begin{array}{c}{A}_1\\ A_2\\ ⋮\\ A_{n_3}\end{array}\right]\text{, }$$
如果你将$MatVec(\mathcal{A})$折叠起来，你就会得到原来的张量$\mathcal{A}$啦。折叠的这个操作，我们就叫fold，数学写为：
$$flod(MatVec(\mathcal{A}))=\mathcal{A}，$$
ok，那么我们其实又可以有公式：
$$\left(F_{n_3}\otimes I_{n_1}\right)\cdot \mathrm{circ}(\mathrm{MatVec}(A))\cdot \left(F_{n_3}^{-1}\otimes I_{n_2}\right)=\left[\begin{array}{llll}{D}_1& & & \\ & D_2& & \\ & & \ddots & \\ & & & D_{n_3}\end{array}\right],$$
其中，$\otimes$表示克罗内克积（矩阵分析里面的一种运算，不会的或者忘记的同学百度一下昂）。这个公式也是很有意思呀，大家可以在草稿纸上写一下元素乘积的形式，就会惊奇发现，实际上就是对张量$\mathcal{A}$的每个前向切面对应位置的元素组成的列向量都做了一次傅里叶变换（这个句话很重要，理解了就明白t-svd了一大半啦）。

坚持住，再学一点定义，你就可以全部都明白了。

定义2.1：张量t积

假设我们现在有两个张量，分别是$\mathcal{A}\in R^{n_1\times n_2\times n_3}$和$\mathcal{B}\in R^{n_2\times l\times n_3}$，然后定义他们的t积为：
$$\mathcal{A}\ast \mathcal{B}=\mathrm{fold}(\mathrm{circ}(\mathcal{A}))\cdot \mathrm{MatVec}(\mathcal{B}))$$
举个例子：假设分别是$\mathcal{A}\in R^{n_1\times n_2\times 3}$和$\mathcal{B}\in R^{n_2\times l\times 3}$，然后有：
$$\mathcal{A}\ast \mathcal{B}=\text{ fold }\left(\left[\begin{array}{ccc}{A}_1& A_3& A_2\\ A_2& A_1& A_3\\ A_3& A_2& A_1\end{array}\right]\left[\begin{array}{l}{B}_1\\ B_2\\ B_3\end{array}\right]\right)\in {\mathbb{R}}^{n_1\times \ell \times 3}$$

疑惑解答：

ok，实际上你已经知道张量运算$\ast$是什么操作了，已经解决了一个问题啦。

然后我们又来回顾一下，他们的形式和分解的计算方法：
形式：
$$\mathcal{A}=\mathcal{U}\ast \mathcal{S}\ast {\mathcal{V}}^T$$
计算算法：

那么，还有个很自然的问题，就是为什么可以通过上面的算法计算得到$\mathcal{A}$分解出来的三个因子张量呢？运用我们前面学的定义，就可以证明啦，证明如下。
证明：
通过前面定义，我们计算$circ(\mathcal{A})$循环矩阵，做傅里叶变后取转换成对角阵（就是下面这个运算）：
$$\left(F_{n_3}\otimes I_{n_1}\right)\cdot \mathrm{circ}(\mathrm{MatVec}(A))\cdot \left(F_{n_3}^{-1}\otimes I_{n_2}\right)=\left[\begin{array}{llll}{D}_1& & & \\ & D_2& & \\ & & \ddots & \\ & & & D_{n_3}\end{array}\right],$$
然后我们对每个$D_i$都做一次svd分解，我们就可以有
$$\left[\begin{array}{ccc}{D}_1& & \\ & \ddots & \\ & & D_{n_3}\end{array}\right]=\left[\begin{array}{lll}{U}_1& & \\ & \ddots & \\ & & U_{n_3}\end{array}\right]\left[\begin{array}{ccc}{\Sigma }_1& & \\ & \ddots & \\ & & {\Sigma }_{n_3}\end{array}\right]\left[\begin{array}{lll}{V}_1^T& & \\ & \ddots & \\ & & V_{n_3}^T\end{array}\right]\text{. }$$
ok，我们再对上面公式每个大矩阵都左乘$(F_{n_3}^{\otimes }{I}_{n_2})$，右乘$F_{n_3}^{-1}\otimes I_{n_2}$，你就会惊奇发现，式子左边我们就可以得到回来的张量$\mathcal{A}$了，右边也相当于每个大矩阵都做了一次傅里叶逆变换。也就是说，我们实际就是先对张量$(A)$做一次循环展开，再做傅里叶变换，然后对每个对角的小矩阵做svd分解，分解后再逆变换回去，就还是原始$\mathcal{A}$。这个过程实际也是上面图片算法过程了。

ok，实际上最核心的东西相信你已经明白了。当然t-svd还有一些很好玩的性质呀，比如他们张量$\mathcal{U}$和$\mathcal{V}$都是正交张量，正交张量怎么定义的，为什么他们是正交张量呀等等这些不再继续深入讲解啦，都比较简单，可以回到原论文找到答案。

然后还有个问题是，有什么用呢？这种算法实际将矩阵卷积发挥到了一定的优势，在数据压缩、张量补全上面，都有着很大优势。目前主流TT、TR、FCTN、TW分解都是很普通的线性组合，虽然这个也是线性组合，但是他却考虑了卷积。实际上，他在张量补全上面恢复效果惊人，并且拥有着很快运算速度。

欢迎各位大佬指正和点评，谢谢。