张量的基本概念及应用

张量

基于张量的数据分析称为张量分析（tensor analysis），属于多重线性数据分析（multilinear data analysis）。

张量及其表示

数据沿一相同方向的排列称为一路阵列。标量称为零路阵列，行向量和列向量称为沿水平和垂直方向排列的一路阵列。矩阵是数据沿水平和垂直方向排列的二路阵列。张量即为数据的多路阵列表示，一个张量就是一个多路阵列或多维阵列，它是矩阵的一种扩展。
张量的数学符号表示为花体符号如$\mathcal{T},\mathcal{A},\mathcal{X}$。$n$路阵列表示为$n$阶张量，是定义在$n$个向量空间的笛卡尔积上的多重线性函数，记为$\mathcal{T}\in {\mathbb{K}}^{I_1\times I_2\times \cdots \times I_n}$。
其中$\mathbb{K}$代表实数域$\mathbb{R}$或复数域$\mathbb{C}$。张量是跨越$n$个向量空间的多线性映射，有：
$$\mathcal{T}:{\mathbb{K}}^{I_1}\times {\mathbb{K}}^{I_2}\times \cdots \times {\mathbb{K}}^{I_n}\to {\mathbb{K}}^{I_1\times I_2\times \cdots \times I_n}$$
张量在各个领域均有应用，包括医学，化学等。

张量的线性代数表示

线性代数即有限维向量空间的矩阵的代数，定义一个有限维向量空间的线性算子。多重线性代数即高阶张量代数，定义了一组有限维向量空间的多重线性算子。
矩阵$\mathbf{A}\in {\mathbb{K}}^{m\times n}$用其元素和矩阵符号表示$[\cdot ]$表示为$\mathbf{A}=[a_{ij}{]}_{i,j=1}^{m,n}$。同样地，张量的表示可以写为$\mathcal{A}\in {\mathbb{K}}^{I_1\times I_2\times \cdots \times I_n}$使用双重矩阵符号$\left\{\begin{array}{c}\cdot \end{array}\right\}$表示为$\mathcal{A}={\left\{\begin{array}{c}{a}_{i_1\cdots i_n}\end{array}\right\}}_{i_1,\cdots i_n=1}^{I_1,\cdots ,I_n}$，其中$a_{i_1\cdots i_n}$是张量第$(i_1\cdots i_n)$元素。

三阶张量

最常用的是三阶张量，有时也称为三维矩阵。
三阶张量的三路阵列不以行向量、列向量等相称，改称张量纤维（tensor fiber）。纤维是只保留一个下标可变，固定其他所有下标不变的一路阵列。水平纤维、竖直纤维、纵深纤维。例如：三阶张量$\mathcal{A}\in {\mathbb{K}}^{I\times J\times K}$，其符号表示纤维为：$a_{i:k},a_{:jk},a_{ij:}$。

• 定义1：$N$阶张量$\mathcal{A}={\left\{\begin{array}{c}{a}_{i_1\cdots i_n}\end{array}\right\}}_{i_1,\cdots i_n=1}^{I_1,\cdots ,I_n}\in {\mathbb{K}}^{I_1\times I_2\times \cdots \times I_n}$的模式-$n$向量是一个以$i_n$为元素下标变量，而其他下标均固定不变的$I_n$维向量，记作${\mathbf{A}}_{i_1\cdots i_n-1:i_n+1\cdots i_N}$。
  注意张量阶数和维数的区别：$N$称为阶数，$I_n$称为第$n$路阵列的维数。

高阶张量也可以使用矩阵的集合表示。如三阶张量可以使用矩阵组成水平切片、侧向切片、正面切片等，符号表示为：${\mathbf{A}}_{i::},{\mathbf{A}}_{:j:},{\mathbf{A}}_{::k}$。
切片的数学表示：

1. 三阶张量$\mathcal{A}\in {\mathbb{K}}^{I\times J\times K}$有$I$个水平切片
   $${\mathbf{A}}_{i::}=\left[\begin{array}{ccc}{a}_{i11}& \cdots & a_{i1K}\\ ⋮& \ddots & ⋮\\ a_{iJ1}& \cdots & a_{iJK}\end{array}\right]=\left[\begin{array}{c}{\mathbf{a}}_{i:1},\cdots ,{\mathbf{a}}_{i:K}\end{array}\right]=\left[\begin{array}{c}{\mathbf{a}}_{i1:}\\ ⋮\\ {\mathbf{a}}_{iJ:}\end{array}\right],i=1,\cdots ,I$$
2. 三阶张量$\mathcal{A}\in {\mathbb{K}}^{I\times J\times K}$有$J$个侧向切片
   $${\mathbf{A}}_{:j:}=\left[\begin{array}{ccc}{a}_{1j1}& \cdots & a_{Ij1}\\ ⋮& \ddots & ⋮\\ a_{1jK}& \cdots & a_{IjK}\end{array}\right]=\left[\begin{array}{c}{\mathbf{a}}_{1j:},\cdots ,{\mathbf{a}}_{Ij:}\end{array}\right]=\left[\begin{array}{c}{\mathbf{a}}_{:j1}\\ ⋮\\ {\mathbf{a}}_{:jK}\end{array}\right],j=1,\cdots ,J$$
   3.三阶张量$\mathcal{A}\in {\mathbb{K}}^{I\times J\times K}$有$K$个正面切片
   $${\mathbf{A}}_{::k}=\left[\begin{array}{ccc}{a}_{11k}& \cdots & a_{1Jk}\\ ⋮& \ddots & ⋮\\ a_{I1k}& \cdots & a_{IJk}\end{array}\right]=\left[\begin{array}{c}{\mathbf{a}}_{:1k},\cdots ,{\mathbf{a}}_{:Jk}\end{array}\right]=\left[\begin{array}{c}{\mathbf{a}}_{1:k}\\ ⋮\\ {\mathbf{a}}_{I:k}\end{array}\right],k=1,\cdots ,K$$

张量的矩阵化和向量化

张量的计算中希望使用矩阵代表一个三阶张量。将一个三路或$N$路阵列重新组织成一个矩阵形式的变换称为张量的矩阵化（matricization or matricizing）。也称张量的展开（unfolding）或扁平化（flattening）。
向量化同理。

张量的水平展开与向量化

张量的基本代数运算

张量的內积、范数和外积

• 定义：张量的內积，若$\mathcal{A},\mathcal{B}\in \mathcal{T}(I_1,I_2,\cdots ,I_n)$,则$\mathcal{A}$和$\mathcal{B}$的內积为标量，定义为两个张量的列向量化之间的內积
  $$\begin{gathered} ⟨\mathcal{A},\mathcal{B}⟩\stackrel{\text{def}}{=}⟨vec(\mathcal{A}),vec(\mathcal{B})⟩=(vec(\mathcal{A}){)}^{H}vec(\mathcal{B}) \\ =\sum _{i_1=1}^{I_1}\sum _{i_2=1}^{I_2}\cdots \sum _{i_n=1}^{I_n}{a}_{i_1{i}_2\cdots i_n}^{\ast }{b}_{i_1{i}_2\cdots i_n} \end{gathered}$$
  其中$\ast$表示复共轭。

根据张量內积的概念，可以得到其张量范数的定义。

• 定义（张量的Frobenius范数）：张量$\mathcal{A}$的Frobenius范数的定义为：
  $${\Vert \mathcal{A}\Vert }_F=\sqrt{⟨\mathcal{A},\mathcal{A}⟩}\stackrel{\text{def}}{=}{\left(\sum _{i_1=1}^{I_1}\sum _{i_2=1}^{I_2}\cdots \sum _{i_n=1}^{I_n}{\left|a_{i_1{i}_2\cdots i_n}\right|}^2\right)}^{1/2}$$
  其內积和范数具有如下性质：
• 张量的范数可以转化成张量的矩阵化的范数
  $$\Vert \mathcal{A}\Vert =\Vert {\mathbf{A}}^{(I_n\times I_1\cdots I_{n-1}{I}_{n+1}\cdots I_N)}\Vert =\Vert {\mathbf{A}}^{(I_1\cdots I_{n-1}{I}_{n+1}\cdots I_N\times I_n)}\Vert$$
• 张量的范数可以改成张量的向量化函数的范数
  $$\Vert \mathcal{A}\Vert =\Vert {\mathbf{a}}^{(I_1{I}_2\cdots I_N\times 1)}\Vert =\Vert {\mathbf{a}}^{(1\times I_1{I}_2\cdots I_N)}\Vert$$
• 两个张量之差的范数平方
  $${\Vert \mathcal{A}-\mathcal{B}\Vert }^2={\Vert \mathcal{A}\Vert }^2-2⟨\mathcal{A},\mathcal{B}⟩+{\Vert \mathcal{B}\Vert }^2$$
• 若$Q\in {\mathbb{K}}^{J\times I_n}$为标准正交矩阵，即$Q{Q}^H=I_{J\times J}$或$Q^{H}Q=I_{I_n\times I_N}$，则有
  $$\Vert \mathcal{A}{\times }_{n}Q\Vert =\Vert \mathcal{A}\Vert$$
• 令$\mathcal{A},\mathcal{B}\in {\mathbb{K}}^{I_1\times I_2\times \cdots \times I_N},{\mathbf{a}}_n,{\mathbf{b}}_n\in {\mathbb{K}}^{J\times I_n}$，其$\mathcal{A}={\mathbf{a}}_1\circ {\mathbf{a}}_2\circ \cdots {\mathbf{a}}_{\mathbf{N}}$和$\mathcal{B}={\mathbf{b}}_1\circ {\mathbf{b}}_2\circ \cdots {\mathbf{b}}_{\mathbf{N}}$，则
  $$⟨\mathcal{A},\mathcal{B}⟩=\prod _{=1}^N⟨{\mathbf{a}}_n,{\mathbf{b}}_n⟩$$

向量的外积（output product）为一个矩阵，有$\mathbf{X}={\mathbf{u}\mathbf{v}}^{\mathbf{T}}$多个向量的外积给出一张量。使用$\circ$表示多个向量的外积。

• 定义 （向量外积）$n$个向量$a^{(i)}\in {\mathbb{K}}^{i\times 1},i=1,\cdots ,n$的外积记为$a^{(1)}\circ a^{(2)}\circ \cdots \times a^{(n)}$，其中为一个张量，有
  $$\mathcal{A}={\mathbf{a}}^{(1)}\circ {\mathbf{a}}^{(2)}\circ \cdots {\mathbf{a}}^{(\mathbf{n})}$$
  使用元素形式定义为
  $$a_{i_1{i}_2\cdots i_n}=a_{i_1}^{(1)}{a}_{i_2}^{(2)}\cdots a_{i_1}^{(1)}$$
  式中$a_j^{(i)}$是模式$-n$的第$j$个元素。

向量的外积可以推广到张量的外积，有

• 定义：（张量外积）两个张量$\mathcal{A}\in {\mathbb{K}}^{I_1\times I_2\times \cdots \times I_N}$和$\mathcal{B}\in {\mathbb{K}}^{J_1\times J_2\times \cdots \times J_N}$的外积仍为张量，记作$\mathcal{A}\circ \mathcal{B}\in {\mathbb{K}}^{I_1\times \cdots \times I_P\times J_1\times \cdots \times J_Q}$
  $$(\mathcal{A}\circ \mathcal{B}{)}_{i_1\cdots i_P{j}_1\cdots j_Q}=a_{i_1\cdots i_P}{b}_{j_1\cdots j_Q}$$

《矩阵分析与应用（第2版）》第10章 张量分析——张贤达