张量的概念及基本运算

张量的概念及基本运算

1 张量的定义

  张量是一个多维数组。更正式地说，一个 N 阶张量是 N 个向量空间元素的张量积，每个向量空间都有自己的坐标系。
  张量的阶数（the order of a tensor）也称为维数（dimensions）、模态（modes）、或方式（ways）。

一阶张量是一个矢量，二阶张量是一个矩阵，三阶或更高阶的张量叫做高阶张量。

2 纤维（Fibers）与 切片（Slices）

2.1 纤维（Fibers）

纤维(Fibers) 是矩阵的行和列的高阶类似物。（纤维是指从张量中抽取的向量）
例如，矩阵 A 的列为mode-1纤维，行为mode-2纤维；

三阶张量有 列(column) 、行(row) 、管(tube) 纤维，分别用${\mathbf{x}}_{:,j,k}$ , ${\mathbf{x}}_{i,:,k}$ , ${\mathbf{x}}_{i,j,:}$ 表示。

2.2 切片（Slices）

切片 (Slices) 是一个张量的二维切片，通过固定除两个维度之外的索引来定义。（切片是指从张量中抽取的矩阵）

• 例如，三阶张量 $\mathcal{X}$ 的 水平面(horizontal) 、 侧面(lateral) 和 正面(frontal) 的切片，分别用 ${\mathbf{X}}_{i,:,:}$ , ${\mathbf{X}}_{:,j,:}$ 和 ${\mathbf{X}}_{:,:,k}$ 表示，且 ${\mathbf{X}}_{:,:,k}$ 可简记为 ${\mathbf{X}}_k$

3 张量的范数（norm）

张量 $\mathcal{X}\in {\mathbb{R}}^{I_1\times I_2\times \cdots \times I_N}$ 的范数是其所有元素平方和的平方根，即:
$$\Vert \mathcal{X}\Vert =\sqrt{\sum _{i_1=1}^{I_1}\sum _{i_2=1}^{I_2}\cdots \sum _{i_N=1}^{I_N}{x}_{i_1{i}_2\cdots i_N}^2}$$
这类似于矩阵 $\mathbf{A}$ 的 F范数(Frobenius norm).

4 张量的内积（inner product）

两个相同大小张量 $\mathcal{X},\mathcal{Y}\in {\mathbb{R}}^{I_1\times I_2\times \cdots \times I_N}$ 的内积，即
$$⟨\mathcal{X},\mathcal{Y}⟩=\sum _{i_1=1}^{I_1}\sum _{i_2=1}^{I_2}\cdots \sum _{i_N=1}^{I_N}{x}_{i_1{i}_2\cdots i_N}{y}_{i_1{i}_2\cdots i_N}$$
且有
$$⟨\mathcal{X},\mathcal{X}⟩=\Vert \mathcal{X}{\Vert }^2$$

5 秩1张量（Rank-One Tensors）

一个 N 维张量 $\mathcal{X}\in {\mathbb{R}}^{I_1\times I_2\times \cdots \times I_N}$ ，如果可以被写成 N 个向量的张量外积(outer product) ，
$$\mathcal{X}={\mathbf{a}}^{(1)}\circ {\mathbf{a}}^{(2)}\circ \cdots \circ {\mathbf{a}}^{(N)}$$
则这个张量的秩为1.

其中，符号“◦”代表张量外积，即，张量的每个元素都是对应的向量元素的乘积：
$$x_{i_1{i}_2\cdots i_N}=a_{i_1}^{(1)}{a}_{i_2}^{(2)}\cdots a_{i_N}^{(N)}\text{ for all }1\le i_n\le I_n$$
下图展示了 $\mathcal{X}=a\circ b\circ c$，一个三阶秩1张量

• 注：
  ① 张量外积（Outer Product） 是线性代数中的外积， 也就是张量积（Tensor Product）；克罗内克积（Kronecker Product）是张量积在矩阵中的特殊形式。
  ② 向量外积（Exterior Product） 是解析几何中的外积，也叫叉积（Cross Product）。

6 对称性与张量（Symmetry and Tensors）

6.1 立方张量（cubical tensors）

如果一个张量的每个维度大小相同，$\mathcal{X}\in {\mathbb{R}}^{I\times I\times I\times \cdots \times I}$，那么这个张量就叫做立方（cubical）张量；

6.2 超对称张量（super symmetric）

如果立方张量在任何索引排列下都保持不变，则立方张量称为超对称张量（supersymmetric）（或对称张量）。

• 例如，如果满足以下条件，则三阶张量 $\mathcal{X}\in {\mathbb{R}}^{I\times I\times I}$ 是超对称的
  $$x_{ijk}=x_{ikj}=x_{jik}=x_{jki}=x_{kij}=x_{kji}\text{ for all }i,j,k=1,\dots ,I$$

6.3 部分对称张量（partically symmetric）

张量也可在两个或多个维度下(部分)对称。

• 例如，对于三阶张量 $\mathcal{X}\in {\mathbb{R}}^{I\times }$