数理统计的张量方法1 张量代数1 张量与张量积

这个系列介绍数理统计中的张量方法。在计算机视觉、NLP以及基因组学等领域，数据结构越来越复杂，以至于用矩阵已经没有办法很好地表示数据了，这时就需要用到张量。因此学习数理统计的微分几何方法与张量方法对理解现代统计与机器学习技术非常有帮助。这个系列的博客从矩阵分析与多元统计II 二次型与二次曲面2 双线性函数介绍的双线性函数开始进行推广得到张量，建立张量的代数与分析理论，并讨论张量在数理统计中的应用。

张量的概念

定义1 假设$V$是数域$F$上的线性空间，$V^{\ast }$是$V$的对偶空间，$p,q$都是正整数，称下面的$p+q$重线性函数是一个$(p,q)$型张量：
$$f:V^p\times (V^{\ast }{)}^q\to \mathbb{R}$$

也称$f$为$p$次协变(共变)、$q$次逆变(反变)的混合型张量，$p+q$是$f$的阶；如果$p=0$，称$f$为逆变张量，如果$q=0$，称$f$为协变张量。称$V$上所有的$(p,q)$型张量构成张量空间${\mathbb{T}}_p^q(V)$，称$V$为底空间。张量空间是线性空间。

评注1 这个定义貌似抽象，但它只是双线性函数的推广，我们先看几个特例熟悉一下这个定义：
1）$(0,0)$型张量代表$\mathbb{R}$中的数；
2）$(1,0)$型张量就是$V$上的线性函数，也就是$V^{\ast }$中的元素；
3）$(0,1)$型张量就是$V^{\ast }$上的线性函数，也就是$V^{\ast \ast }$中的元素，参考矩阵分析与多元统计II 二次型与二次曲面1 线性函数与对偶空间，$V$与$V^{\ast \ast }$是同构的，因此我们可以将$V^{\ast \ast }$中的元素，也就是$(0,1)$型张量与$V$中的向量一一对应起来，用$(f,x)$表示这种对应关系，$f\in V^{\ast \ast },x\in V$；
4）$(2,0)$型张量是$V$上的双线性函数；$(0,2)$型张量是$V^{\ast }$上的双线性函数；
5）$(1,1)$型张量是最简单的混合型张量，不难证明$(1,1)$型张量与$V$上的线性算子一一对应：对于$(1,1)$型张量$f(x,u),x\in V,u\in V^{\ast }$, $\exists \mathcal{A}:V\to V$,
$$f(x,u)=(u,\mathcal{A}x)$$

根据张量对$x$的线性性，
$$(u,\mathcal{A}(\alpha x_1+\beta x_2))=\alpha (u,\mathcal{A}x)+\beta (u,\mathcal{A}y)=(u,\alpha \mathcal{A}x+\beta \mathcal{A}y)$$

因此$\mathcal{A}(\alpha x_1+\beta x_2)=\alpha \mathcal{A}x+\beta \mathcal{A}y$, $\mathcal{A}$是$V$上的线性算子。可验证$f$与$\mathcal{A}$是一一对应的。

张量积

定义2 记$f:V_1\times V_2\times \cdots \times V_r\to \mathbb{R}$,