TensorLy 基本操作

TensorLy 笔记系列

1. tensorly-01 安装教程
2. tensorly-02 快速上手
3. tensorly-03 后端系统
4. tensorly-04 基本操作
5. tensorly-05 张量分解
6. tensorly-06 张量回归

TensorLy 基本操作

4.1. 创建 tensor

tensor 是一个多维数组, 例如，从前部切片定义tensor X.
$X_1=\left[\begin{array}{cccc}0& 2& 4& 6\\ 8& 10& 12& 14\\ 16& 18& 20& 22\end{array}\right]\text{and}{X}_2=\left[\begin{array}{cccc}1& 3& 5& 7\\ 9& 11& 13& 15\\ 17& 19& 21& 23\end{array}\right]$

在 Python 中，数组可以按照下面方式表达：

import numpy as np
import tensorly as tl
X = tl.tensor(np.arange(24).reshape((3, 4, 2)))

从最后维度查看 tensor 的前向切片。

>>> X[..., 0]
array([[ 0,  2,  4,  6],
       [ 8, 10, 12, 14],
       [16, 18, 20, 22]])

>>> X[..., 1]
array([[ 1,  3,  5,  7],
       [ 9, 11, 13, 15],
       [17, 19, 21, 23]])

4.2. 展开

按照给定的方法将 tensor 展开为矩阵，被称为矩阵化。对于一个 n 阶 tensor，$(I_0,I_1,\cdots ,I_N)$, tensor n-mode 展开的尺寸是 $(I_n,I_0,I_1\times \cdots \times I_{n-1}\times I_{n+1}\cdots \times I_N)$.

在tensorly中为了取得更好的性能，我们使用一种不同于经典的 1-mode 展开方法。给定tensor，$\tilde{X}\in {\mathbb{R}}^{I_0,I_1\times I_2\times \cdots \times I_N}$, $\tilde{X}$的n-mode展开成为一个矩阵 $\mathbf{X}\in {\mathbb{R}}^{I_n,I_M}$, 其中 $$\begin{gathered} M={\prod }_{k=0, \\ k\ne n}^N{I}_k \end{gathered}$$, 通过元素映射 $(i_0,i_1,\cdots ,i_N)$ 到 $(i_n,j)$, $$\begin{gathered} j={\sum }_{k=0, \\ k\ne n}^N{i}_k\times {\prod }_{m=k+1, \\ k\ne n}^N{I}_m \end{gathered}$$

传统的 mode-1 展开方式通常是按照第一维度开始，但是为了和 Python保持一致，tensorly 从0维度展开，也就是说, unfold(tensor, 0)是按照第一维度展开。

例如，使用上述定义的 tesnor $\tilde{X}$, 0-mode 展开方式:
${\tilde{X}}_{[0]}=\left[\begin{array}{cccccccc}0& 1& 2& 3& 4& 5& 6& 7\\ 8& 9& 10& 11& 12& 13& 14& 15\\ 16& 17& 18& 19& 20& 21& 22& 23\end{array}\right]$

1-mode 展开方式:
${\tilde{X}}_{[1]}=\left[\begin{array}{cccccc}0& 1& 8& 9& 16& 17\\ 2& 3& 10& 11& 18& 19\\ 4& 5& 12& 13& 20& 21\\ 6& 7& 14& 15& 22& 23\end{array}\right]$

2-mode展开方式:
${\tilde{X}}_{[2]}=\left[\begin{array}{cccccccccccc}0& 2& 4& 6& 8& 10& 12& 14& 16& 18& 20& 22\\ 1& 3& 5& 7& 9& 11& 13& 15& 17& 19& 21& 23\end{array}\right]$

在tensorly中：

>>> from tensorly import unfold
>>> unfold(X, 0) # mode-1 unfolding
array([[ 0,  1,  2,  3,  4,  5,  6,  7],
       [ 8,  9, 10, 11, 12, 13, 14, 15],
       [16, 17, 18, 19, 20, 21, 22, 23]])

>>> unfold(X, 1) # mode-2 unfolding
array([[ 0,  1,  8,  9, 16, 17],
       [ 2,  3, 10, 11, 18, 19],
       [ 4,  5, 12, 13, 20, 21],
       [ 6,  7, 14, 15, 22, 23]])

>>> unfold(X, 2) # mode-3 unfolding
array([[ 0,  2,  4,  6,  8, 10, 12, 14, 16, 18, 20, 22],
       [ 1,  3,  5,  7,  9, 11, 13, 15, 17, 19, 21, 23]])

4.3. 折叠

通过 tensorly.base.fold 函数将矩阵折叠为 tensor。

>>> from tensorly import fold
>>> unfolding = unfold(X, 1)
>>> original_shape = X.shape
>>> fold(unfolding, 1, original_shape)
array([[[ 0,  1],
     [ 2,  3],
     [ 4,  5],
     [ 6,  7]],

    [[ 8,  9],
     [10, 11],
     [12, 13],
     [14, 15]],

    [[16, 17],
     [18, 19],
     [20, 21],
     [22, 23]]])

参考资料

1. T.G.Kolda and B.W.Bader, “Tensor Decompositions and Applications”, SIAM REVIEW, vol. 51, n. 3, pp. 455-500, 2009.
2. tensorly