Karhunen-Loève expansion and random field

在做数值实验时很可能要求实现符合某种协方差的随机域。选取这样的随机向量的一种方式就是Karhunen-Loève expansion。本文主要参考论文介绍基本的概念和简要介绍数值实现的方法。为以后使用做准备。

1. 随机域

$\Omega \subset {\mathbb{R}}^d$，是一个连续的区域。连续随机域(continuous random field) $H(\mathbf{x},\theta )$ 是定义在$\Omega$上的随机函数，$\theta \in \Theta$，$(\Theta ,F,P)$是一个完备的随机空间。

如果每个$\mathbf{x}\in \Omega$对应的都是随机变量，那么这个随机域就被成为单变量的(univariate) 或者 实值的(real-valued)。如果每个$\mathbf{x}$对应的是随机向量，那么这个随机域就是多变量的(multivariate)。

$d=1$，随机域称为一维的(one-dimensional)，$d>1$，随机域成为多维的(multidimentional)。

如果$\forall ({\mathbf{x}}_1,\dots ,{\mathbf{x}}_n)\in \Omega$，$\forall n$，有$(H({\mathbf{x}}_1,\theta ),\dots ,H({\mathbf{x}}_n,\theta ))$是联合高斯分布的，则称随机域是高斯的(Gaussian)。

均值函数：$\mu :\Omega \to \mathbb{R}$。自相关函数：$\mathsf{C}\mathsf{o}\mathsf{v}:\Omega \times \Omega \to \mathbb{R}$。标准差函数：$\sigma :\Omega \to \mathbb{R}$。自相关系数函数：$\rho :\Omega \times \Omega \to [-1,1]$。

$\mathsf{C}\mathsf{o}\mathsf{v}(\mathbf{x},{\mathbf{x}}^{\prime })=\sigma (\mathbf{x})\sigma ({\mathbf{x}}^{\prime })\rho (\mathbf{x},{\mathbf{x}}^{\prime })$.

2. KL expansion

Karhunen-Loève expansion是一种以序列形式表达随机域的方式。其建立在自相关函数的谱分解上。$$H(\mathbf{x},\theta )=\mu (\mathbf{x})+\sum _{i=1}^{\infty }\sqrt{{\lambda }_i}{\phi }_i(\mathbf{x}){\xi }_i(\theta ),$$其中$${\int }_{\Omega }\mathsf{C}\mathsf{o}\mathsf{v}(\mathbf{x},{\mathbf{x}}^{\prime }){\phi }_i({\mathbf{x}}^{\prime })\mathsf{d}{\mathbf{x}}^{\prime }={\lambda }_i{\phi }_i(\mathbf{x}).\text{\hspace{1em}(1)}$$${\phi }_i$都正规化了，而${\xi }_i(\theta ):\Theta \to \mathbb{R}$是标准不相关随机变量。

有效的自相关函数是有界(bounded)，对称(symmetric)，半正定的(semi-definite)。${\lambda }_i\ge 0$， C o v ( x , x ′ ) = ∑ i = 1 ∞ λ i φ i ( x ) φ i ( x ′ ) \mathsf{Cov}(\mathbf{x},\mathbf{x}')=\sum_{i=1}^{\infty}\lambda_i\varphi_i(\mathbf{x})\varphi_i(\mathbf{x}') <