数学小抄: 张量基础学习

前言

矩阵是一个数表, 而张量则是在这个数表的基础上给予更多的物理含义, 也就是说赋予每个数一定的运算规则. 本篇博客仅介绍一些基础的张量知识,来源于[An Introduction to Tensor Algebra]的附录A

正文

1. tensor的阶次: 是指确定tensor一个元素所需要的下标数目. scalars 为0-order tensor, vectors为1-order tensor, matrix为2-order tensor, $\mathcal{A}\in {\mathbb{C}}^{I_1\times I_2\times I_n\times \cdots \times I_N}$ 为N阶的张量.

2. tensor outer product与tensor的rank: 秩1-张量当且仅当该张量可以被写N个向量的外积. ${\mathrm{u}}_1,{\mathrm{u}}_2,\dots ,{\mathrm{u}}_{\mathrm{N}}$为向量

   $$\mathcal{B}={\mathrm{u}}_1\circ {\mathrm{u}}_2\circ \cdots \circ {\mathrm{u}}_{\mathrm{N}}$$

   向量outer product不是叉积…
   $$u\circ v=u{v}^T=\left[\begin{array}{c}{u}_1\\ u_2\\ u_3\\ u_4\end{array}\right]\left[\begin{array}{ccc}{v}_1& v_2& v_3\end{array}\right]=\left[\begin{array}{ccc}{u}_1{v}_1& u_1{v}_2& u_1{v}_3\\ u_2{v}_1& u_2{v}_2& u_2{v}_3\\ u_3{v}_1& u_3{v}_2& u_3{v}_3\\ u_4{v}_1& u_4{v}_2& u_4{v}_3\end{array}\right]$$

   rank 往往有基元组合的思想在其中,而$\mathcal{B}$显然是不需要任何张量组合的, 故其自身就是一个rank1 张量.

   一个张量的秩是用来表达通过线性组合得到该张量的所需rank1张量的个数
   $$\mathcal{A}=\sum _{r=1}^R{\sigma }_{r=1}(u_1^{(r)}\circ \dots u_N^{(r)}).$$
   上面的$\mathcal{A}$是秩为R的张量.

3. matrix unfolding of $\mathcal{A}$ :
   $${\mathbf{A}}_{(n)}\in {\mathbb{R}}^{I_n\times (I_{(}n+1)\dots I_N{I}_1\dots I_{n-1})}$$
   以第$n$维为列, 以$I_{n+1}\dots I_N{I}_1\dots I_{n-1}$ 为行堆叠而成一个矩阵,注意这里的顺序. 看图最为清晰:
   
   
   图片参考链接
   对应地: The n-rank of $\mathcal{A}$ is defined as the rank of the $n$ th unfolding of $\mathcal{A}$ which is :
   $$R_n=ran{k}_n(\mathcal{A})=rank({\mathbf{A}}_{(n)})$$

4. n-mode Product : 张量$\mathcal{A}\in {\mathbb{R}}^{I_1\times I_2\times I_3\cdots \times I_n\times \cdots \times I_N}$ 以及矩阵$M\in {\mathbb{R}}^{J_n\times I_n}$. n-mode product between $\mathcal{A}$ 与 $M$ 可以被定义为: $\mathcal{B}=\mathcal{A}{\times }_{n}M$.
   其中, 乘积得到的张量$\mathcal{B}\in {\mathbb{R}}^{I_1\times \cdots \times I_{n-1}\times J_n\times I_{n+1}\times \cdots \times I_N}$ .在其元素层面上,the n-mode product可以为:
   $$b_{i_1\dots i_{n-1}{j}_n{i}_{n+1}\dots i_N}=\sum _{i_n}{a}_{i_1\dots i_n\dots i_N}{m}_{j_n{i}_n}$$
   利用tensor unfolding 有矩阵形式为:
   $$B_{(n)}=M{A}_{(n)}$$

5. 张量求和约定:

   张量求和约定提供了一种简便的方法来表达张量元素的线性组合. 例子, 考虑输入向量为$\mathbf{x}\in {\mathbb{C}}^2$. channel Matrix $\mathbf{H}\in {\mathbb{C}}^{2\times 2}$. output vector $\mathbf{y}\in {\mathbb{C}}^2$.
   $$\begin{array}{rl}{y}_1& =h_{11}{x}_1+h_{12}{x}_2\\ y_2& =h_{21}{x}_1+h_{22}{x}_2\end{array}$$
   m 是 自由指标,而n是简并指标
   $$y_m={\Sigma }_{n=1}^2{h}_{mn}{x}_n$$
   对于 $m=1,2,n=1,2$, 使用简并表达,有:
   $$y_m=h_{mn}{x}_n$$

6. 张量内积

   $\mathcal{A}\in {\mathbb{C}}^{I_1\times I_2\times \cdots \times I_N}$ 以及$\mathcal{B}\in {\mathbb{C}}^{J_1\times J_2\times \cdots \times J_M}$. 对于具有相同指标的张量内积$i_n=j_m=k$有:
   $$\mathcal{C}=<\mathcal{A},\mathcal{B}{>}_{n,m}$$
   写出来有:
   $$c_{i1\dots i_{n-1}{i}_{n+1}\dots i_N{j}_1\dots j_{m-1}{j}_{m+1}\dots j_M}=\sum _k{a}_{i1\dots i_{n-1}{i}_k{i}_{n+1}\dots i_N}{b}_{j_1\dots j_{m-1}{j}_k{j}_{m+1}\dots j_M}$$
   where the resulting tensor $\mathcal{C}\in {\mathbb{C}}^{i1\dots i_{n-1}{i}_{n+1}\dots i_N{j}_1\dots j_{m-1}{j}_{m+1}\dots j_M}$ . 在运算的过程中, $\mathcal{A}$ 第n维的大小应该与$\mathcal{B}$第m维的大小相同.

7. 张量Scalar Product: 当$\mathcal{A},\mathcal{B}$的维度相同时, 其对于全部维度上的内积会得出一个标量:
   $$<\mathcal{A},\mathcal{B}>\stackrel{△}{=}\sum _{i_1}\cdots \sum _{i_N}{a}_{i_1\dots i_N}{b}_{i_1\dots i_N}^{\ast }$$

   此时可以引入Frobenius Norm. the Frobenius norm of $\mathcal{A}\in {\mathbb{C}}^{I_1\times I_2\times \cdots \times I_N}$ is defined as $||\mathcal{A}||\stackrel{△}{=}\sqrt{<\mathcal{A},\mathcal{A}>}$.
   Frobenius norm 的平方是张量的能量: ${\epsilon }_{\mathcal{A}}=||\mathcal{A}|{|}_{\mathcal{F}}^2$.

8. HOSVD 待续