【随机过程】8 - 多元高斯分布及其线性性质

多元高斯分布及其线性性质

1. 高斯过程定义

  上一部分，我们通过分子扩散、最大熵优化、中心极限定理三个问题，对高斯分布及高斯过程的应用性有了一定的了解。

  那么，到底什么是高斯过程呢?

$$\text{Gaussian Processes}$$

  如果一个随机过程是高斯过程，那么我们在这个随机过程中任意取n个点，得到一个随机矢量，那么这个随机矢量，一定是服从多元高斯分布的

Z ( t )  is Gaussian ∀ n ∀ t t 1 ≤ t 2 . . . ≤ t n Z = { Z 1 ( t ) , . . . , Z n ( t ) } T Z ∼ N ( μ , Σ ) Z ∈ R n Z(t) \text{ is Gaussian} \\ \forall n \quad \forall t \quad t_1 \leq t_2 ... \leq t_n \\ Z = \{Z_1(t),...,Z_n(t) \}^T \\ Z \sim N(\mu,\Sigma) \quad Z \in \R^n Z(t) is Gaussian∀n∀tt1​≤t2​...≤tn​Z={Z1​(t),...,Zn​(t)}TZ∼N(μ,Σ)Z∈Rn

2. 从高斯分布到多元高斯分布

2.1 定义

  因为高斯过程的采样行为就得到了多元高斯分布。我们对高斯过程的了解首先就会从多元高斯分布开始。

  如果n=1，得到的是一个一维的高斯分布

$$\begin{gathered} n=1f_Z(x)=\frac{1}{\sqrt{2\pi }\sigma }exp(-\frac{(x-\mu {)}^2}{2{\sigma }^2}) \\ E(Z)=\mu Var(Z)={\sigma }^2 \end{gathered}$$

  如果n=2得到的是一个二维的高斯分布

$$\begin{gathered} n=2f_{Z_1{Z}_2}(x_1,x_2)=\frac{1}{2\pi {\sigma }_1{\sigma }_2\sqrt{1-{\rho }^2}}exp(-\frac{1}{2(1-{\rho }^2)}((\frac{x_1-{\mu }_1}{{\sigma }_1}{)}^2+(\frac{x_2-{\mu }_2}{{\sigma }_1}{)}^2-2\rho \frac{x_1-{\mu }_1}{{\rho }_1}\frac{x_2-{\mu }_2}{{\rho }_2})) \\ E(Z_1)={\mu }_{1}E(Z_2)={\mu }_{2}Var(Z_1)={\sigma }_1^{2}Var(Z_2)={\sigma }_2^2 \end{gathered}$$

  其中ρ是两个随机变量的协方差

$$\rho =E(Z_1-{\mu }_1)E(Z_2-{\mu }_2)$$

  然后我们就可以给出n元高斯分布的定义了

$$\begin{gathered} n{f}_Z(x)=\frac{1}{(2\pi {)}^{\frac{n}{2}}(\det \Sigma {)}^{\frac{1}{2}}}exp(-\frac{1}{2}(x-\mu {)}^T{\Sigma }^{-1}(x-\mu )) \\ \mu \in {\mathbb{R}}^{n}E(Z)=\mu \\ \Sigma \in {\mathbb{R}}^{n\ast n}E((Z-\mu {)}^T(Z-\mu ))=\Sigma \end{gathered}$$

  这里面Z表示n个随机变量组成的随机矢量，这个随机矢量是均值向量是μ，随机矢量的协方差矩阵是∑。并且注意，在指数中的协方差矩阵是个逆。det是取行列式

2.2 多元高斯概率密度函数

  有了多元高斯分布的概率密度函数之后，我们可以先做一番检查,看看是否符合一般概率密度函数的性质

$$\begin{gathered} f_Z(x)=\frac{1}{(2\pi {)}^{\frac{n}{2}}(\det \Sigma {)}^{\frac{1}{2}}}exp(-\frac{1}{2}(x-\mu {)}^T{\Sigma }^{-1}(x-\mu )) \\ \mu \in {\mathbb{R}}^{n}E(Z)=\mu \\ \Sigma \in {\mathbb{R}}^{n\ast n}E((Z-\mu {)}^T(Z-\mu ))=\Sigma \end{gathered}$$
  首先检查多元高斯的概率密度函数是否是大于0的。

  由于指数函数大于0，只需要考虑行列式即可。而相关矩阵(协方差矩阵)必定是非负定的，因此其行列式必定也大于等于0

$$f_Z(x)\ge 0$$

  然后检查概率密度函数积分是否为1

$${\int }_{{\mathbb{R}}^n}{f}_Z(x)dx=1$$

  我们来计算一下这个积分

$${\int }_{{\mathbb{R}}^n}\frac{1}{(2\pi {)}^{\frac{n}{2}}(\det \Sigma {)}^{\frac{1}{2}}}exp(-\frac{1}{2}(x-\mu {)}^T{\Sigma }^{-1}(x-\mu ))dx$$

  这里面比较难搞的就是相关矩阵的逆，如果能够把相关矩阵对角化，就能够变成累加和的形成分别积分。

  由于相关矩阵是对称的，因此必然可以做特征分解

$$\begin{gathered} \Sigma ={\Sigma }^T \\ \Sigma =U^T\Lambda U \\ {\Sigma }^{-1}=U^T{\Lambda }^{-1}U \end{gathered}$$

  其中

$$\begin{gathered} U\ast U^T=U^{T}U=I \\ \Lambda =diag({\lambda }_1,...,{\lambda }_n) \\ \Lambda \ge 0\Rightarrow {\lambda }_k\ge 0 \end{gathered}$$

  然后拆分成两部分，方便分给左右的矢量

$${\Sigma }^{-1}=(U^T{\Lambda }^{-\frac{1}{2}}U)(U^T{\Lambda }^{-\frac{1}{2}}U)=L^{T}L$$

  因此

$$(x-\mu {)}^T{\Sigma }^{-1}(x-\mu )=((x-\mu {)}^T{L}^T)(L(x-\mu ))$$

  然后做积分换元

$$y=L(x-\mu )$$

$$dx=|det(\frac{dx}{dy})|dy\frac{dx}{dy}=(\frac{dy}{dx}{)}^{-1}=|det{L}^{-1}|=|detL{|}^{-1}$$

$$\begin{gathered} {\int }_{{\mathbb{R}}^n}\frac{1}{(2\pi {)}^{\frac{n}{2}}(\det \Sigma {)}^{\frac{1}{2}}}exp(-\frac{1}{2}(x-\mu {)}^T{\Sigma }^{-1}(x-\mu ))dx \\ ={\int }_{{\mathbb{R}}^n}\frac{1}{(2\pi {)}^{\frac{n}{2}}(\det \Sigma {)}^{\frac{1}{2}}}exp(-\frac{1}{2}{y}^{T}y)|detL{|}^{-1}dy \end{gathered}$$

  然后

$$\begin{gathered} {\Sigma }^{-1}=L^{T}L \\ |det{\Sigma }^{-1}|=|detL{|}^2 \\ |det\Sigma {|}^{-1}=|detL{|}^2 \\ \Rightarrow |detL|=|det\Sigma {|}^{-\frac{1}{2}} \end{gathered}$$

  代入原式

$$\begin{gathered} {\int }_{{\mathbb{R}}^n}{f}_Z(x)dx={\int }_{{\mathbb{R}}^n}\frac{1}{(2\pi {)}^{\frac{n}{2}}(\det \Sigma {)}^{\frac{1}{2}}}exp(-\frac{1}{2}{y}^{T}y)|detL{|}^{-1}dy \\ ={\int }_{{\mathbb{R}}^n}\frac{1}{(2\pi {)}^{\frac{n}{2}}(\det \Sigma {)}^{\frac{1}{2}}}exp(-\frac{1}{2}{y}^{T}y)|det\Sigma {|}^{\frac{1}{2}}dy \\ ={\int }_{{\mathbb{R}}^n}\frac{1}{(2\pi {)}^{\frac{n}{2}}}exp(-\frac{1}{2}{y}^{T}y)dy \\ =\frac{1}{(2\pi {)}^{\frac{n}{2}}}{\int }_{-\infty }^{+\infty }...{\int }_{-\infty }^{+\infty }exp(-\frac{1}{2}(y_1^2+...+y_n^2))d{y}_1...d{y}_n \\ =\prod _{k=1}^n(\frac{1}{\sqrt{2\pi }}{\int }_{-\infty }^{+\infty }exp(-\frac{y_k^2}{2})d{y}_k)=1 \end{gathered}$$

2.3 多元高斯特征函数

  然后再来研究一下多元高斯的特征函数,假设Z满足n维高斯分布

$$Z\in {\mathbb{R}}^{n}Z\sim N(\mu ,\Sigma )$$

  n元高斯特征函数就是做多维傅里叶变换(不完全一样，复指函数符号不同)

$${\varphi }_Z(\omega )=E(exp(j{\omega }^{T}Z))={\int }_{{\mathbb{R}}^n}{f}_Z(x_1,...,x_n)exp(j({\omega }_1{x}_1+...+{\omega }_n{x}_n))d{x}_1...d{x}_n$$

  一元的表示为

$$\begin{gathered} Z\sim N(\mu ,{\sigma }^2) \\ {\varphi }_Z(\omega )=exp(j\omega \mu -\frac{1}{2}{\sigma }^2{\omega }^2) \end{gathered}$$

  多元即把标量变成向量即可

$$\begin{gathered} Z\in {\mathbb{R}}^{n}Z\sim N(\mu ,\Sigma ) \\ {\varphi }_Z(\omega )=exp(j{\omega }^T\mu -\frac{1}{2}{\omega }^T\Sigma \omega ) \end{gathered}$$

  需要与概率密度函数比较一下

• 概率密度函数指数中的协方差是个逆
• 特征函数指数中的协方差不是逆，因此更加的好求

2.4 多元高斯的线性性质

  多元高斯的线性性质：总的来说就是，如果一个随机矢量满足多元高斯分布，对这个随机矢量做任意线性变换，得到的随机矢量仍然满足多元高斯分布

$$\begin{gathered} \text{Linearity} \\ Z\in {\mathbb{R}}^{m}Z\sim N({\mu }_Z,{\Sigma }_Z) \\ A\in {\mathbb{R}}^{n\ast m}Y=AZY\in {\mathbb{R}}^n \end{gathered}$$

  我们可以计算一下经过线性变换A之后，得到的Y是什么分布,我们从特征函数的角度来进行计算

$$\begin{gathered} {\varphi }_Y(\omega )=E(exp(j{\omega }^{T}Y))=E(exp(j{\omega }^{T}AZ)) \\ =E(exp(j(A^T\omega {)}^{T}Z))={\varphi }_Z({\omega }^{\prime }){|}_{{\omega }^{\prime }=A^T\omega } \\ =exp(j{\omega }^{\prime T}\mu -\frac{1}{2}{\omega }^{\prime T}\Sigma {\omega }^{\prime }){|}_{{\omega }^{\prime }=A^T\omega } \\ =exp(j{\omega }^{T}A\mu -\frac{1}{2}{\omega }^{T}A\Sigma A^T\omega ) \end{gathered}$$

  得到的仍然是一个高斯分布，并且新的高斯分布的均值和协方差分别是

$$\begin{gathered} {\mu }_Y=A{\mu }_Z \\ {\Sigma }_Y=A{\Sigma }_Z{A}^T \\ Y\sim N(A\mu ,A{\Sigma }_Z{A}^T) \end{gathered}$$

  可以说明高斯具有线性不变性

$$\text{Linearity Invariance}$$

3. 高斯边缘分布与联合分布

  接下来，我们探究一下高斯边缘分布和联合分布的关系。也就是探究这样一个问题，如果一个分布是联合高斯分布，从中任取一些随机变量得到的分布是否是高斯分布?如果每一个随机变量的分布都是高斯分布，把他们组合在一起是否是联合高斯分布?

3.1 从联合分布到边缘分布

  事实上，从联合高斯分布到边缘高斯分布是成立的，可以通过我们高斯线性不变性得到证明

Z = ( Z 1 , . . . , Z n ) T ∼ N Z ~ = ( Z n 1 , . . . , Z n k ) ( n 1 , . . . , n k ) ⊂ { 1 , . . . , n } Z = (Z_1,...,Z_n)^T \sim N \\ \widetilde {Z} = (Z_{n_1},...,Z_{n_k}) \\ (n_1,...,n_k) \subset \{ 1,...,n\} Z=(Z1​,...,Zn​)T∼NZ =(Zn1​​,...,Znk​​)(n1​,...,nk​)⊂{1,...,n}
  证明

$$\begin{gathered} \left(\begin{array}{c}{Z}_{n_1}\\ ...\\ ...\\ Z_{n_k}\end{array}\right)=A\ast \left(\begin{array}{c}{Z}_1\\ ...\\ ...\\ Z_n\end{array}\right) \\ A=\left(\begin{array}{ccccc}0& ...& 1& ...& 0\\ 1& 0& ...& 0& 0\\ ...& ...& ...& ...& ...\end{array}\right) \end{gathered}$$

  只要让第n₁到第n_k个随机变量所在的位置是1，其他位置为0即可。

3.2 从边缘分布到联合分布

  但是反过来不一定成立。如果Z1,…,Zn全部服从高斯分布，Z1,…,Zn的联合分布不一定是高斯分布。

$$\begin{gathered} Z_1\sim N,Z_2\sim N,...,Z_n\sim N \\ \cancel{\Rightarrow }Z=(Z_1,...,Z_n{)}^T\sim N \end{gathered}$$

  我们可以构造一个函数f(x,y)，这个函数的边缘分布是高斯，但是联合分布不是高斯。

  先写出高斯加一个扰动项的形式,也就是这个分布主体是高斯的，但是边缘有波动。

$$f(x,y)=\frac{1}{2\pi }exp(-\frac{x^2+y^2}{2})+g(x,y)$$

  我们希望这个g(x,y)的边缘分布都是0，即

$${\int }_{-\infty }^{+\infty }g(x,y)dx={\int }_{-\infty }^{+\infty }g(x,y)dy=0$$

  如果我们增加这样一项

$$g(x,y)=sinxsiny$$

  有两个问题，概率密度函数不能是负的，这个函数会在(-1,1)b波动，有些地方比如是-1，而高斯的边缘很小，就会产生负值，不满足概率密度公式必须大于0的条件，需要修改一下这个函数

$$g(x,y)=1+sinxsiny$$

  因此，我们就可以得到一个例子

$$f(x,y)=\frac{1}{2\pi }exp(-\frac{x^2+y^2}{2})+(1+sinxsiny)$$

  对x和对y的边缘分布都是高斯的，但是联合分布不是高斯分布。

3.3 联合高斯分布判据

  那么，什么样的判据才能推出联合高斯分布呢?

$$\text{Joint Gaussian}\Rightarrow \text{Bounding Gaussian}$$

  我们要求，有一个确定性矢量，对Z的分量进行任意的加权求和，得到的都是一维的高斯分布，这样才能够认为Z是联合高斯分布

$$\begin{gathered} Z\in {\mathbb{R}}^n \\ Z\sim N\iff \forall \alpha \in {\mathbb{R}}^n{\alpha }^{T}Z\sim N \end{gathered}$$

  从联合高斯到任意线性组合都是一维高斯的充分性证明就不需要了。

  我们证明必要性即可。

  用特征函数来进行证明。Z的特征函数如下

$${\varphi }_Z(\omega )=E(exp(j{\omega }^{T}Z))$$

  根据判据，对Z任意的线性组合得到的都应该是一维的高斯分布。所以ω^TZ就是高斯分布，我们可以把ω^TZz作为随机变量，然后把式子看做是特征函数在ω为1时候的分布

$$\begin{gathered} {\varphi }_Z(\omega )=E(exp(j{\omega }^{T}Z))={\varphi }_{{\omega }^{T}Z}(1) \\ =exp(j{\mu }_{{\omega }^{T}Z}{\omega }^{\prime }-\frac{1}{2}{\sigma }_{{\omega }^{T}z}^2{\omega }^{\prime 2}){|}_{{\omega }^{\prime }=1} \\ =exp(j{\mu }_{{\omega }^{T}Z}-\frac{1}{2}{\sigma }_{{\omega }^{T}z}^2) \end{gathered}$$

  然后，我们要求新高斯分布的均值和方差。

$$\begin{gathered} {\mu }_{{\omega }^{T}Z}=E({\omega }^{T}Z)={\omega }^{T}E(Z)={\omega }^T\mu \\ {\sigma }_{{\omega }^{T}Z}^2=E[({\omega }^{T}Z-E({\omega }^{T}Z){)}^2] \\ =E({\omega }^{T}Z-{\omega }^{T}E(Z){)}^2={\omega }^{T}E((Z-E(Z))(Z-E(Z){)}^T)\omega ={\omega }^T\Sigma \omega \end{gathered}$$

  代入特征函数可得

$${\varphi }_Z(\omega )=exp(j{\omega }^T\mu -\frac{1}{2}{\omega }^T\Sigma \omega )$$

  得到联合高斯分布的特征函数，可以证明结论。

  我们现在有了一个从边缘分布到联合高斯的一个判据，但是这个判据不好用，是理论上的，现在没有一个特别好的方法进行判断联合高斯性。

4. 高斯分布的相关性与独立性

4.1 独立性和相关性

  所谓两个随机变量不相关，就是两个随机变量的期望，等于其各自的期望的乘积

$$\begin{gathered} \text{Uncorrelation} \\ E(ZY)=E(Z)E(Ya) \end{gathered}$$

  而两个随机变量独立，就是他们的联合分布等于各自概率密度的乘积

$$f_{ZY}(z,y)=f_Z(z)f_Y(y)$$

  独立一定不相关，但是不相关不一定独立。独立是不相关的子集，要求更加高。

  我们可以举一个二者不独立，但是也不相关的例子

$$\begin{gathered} \theta \sim U(0,2\pi ) \\ Z=cos(\theta )Y=sin(\theta ) \end{gathered}$$

  这两个随机变量一定不独立

$$Z^2+Y^2=1$$

  但是也不相关

$$\begin{gathered} E(Z)=E(cos(\theta ))={\int }_0^{2\pi }\frac{1}{2\pi }cos(\theta )d\theta =0 \\ E(Y)=E(sin(\theta ))={\int }_0^{2\pi }\frac{1}{2\pi }sin(\theta )d\theta =0 \\ E(ZY)=E(sin(\theta )cos(\theta ))=\frac{1}{2}E(sin(2\theta ))=\frac{1}{2}{\int }_0^{2\pi }\frac{1}{2\pi }sin(2\theta )d\theta =0 \\ \Rightarrow E(ZY)=E(Z)E(Y) \end{gathered}$$

4.2 高斯分布的不相关和独立

  刚才证明了，两个随机变量不相关，不能得到二者独立。如果两个高斯分布是不相关的，能够得到二者独立吗?

  答案也是不行的。我们假设X服从高斯分布，而Z是一个伯努利分布，Y是二者的乘积。同时X和Z是独立的

$$\begin{gathered} X\sim N(0,1) \\ Z=\{\begin{array}{ll}1& P=\frac{1}{2}\\ -1& P=\frac{1}{2}\end{array} \\ X,Z\text{independent} \\ Y=ZX \end{gathered}$$

  我们可以看下Y是否是个高斯分布，用特征函数来进行推断

$$\begin{gathered} {\varphi }_Y(\omega )=E(exp(j\omega Y))=E(exp(j\omega ZX)) \\ =E_Z(E_X(exp(j\omega ZX)|Z))=E_Z(exp(-\frac{1}{2}{\omega }^2{Z}^2)) \\ =\frac{1}{2}exp(-\frac{1}{2}{\omega }^2)+\frac{1}{2}exp(-\frac{1}{2}{\omega }^2)=exp(-\frac{1}{2}{\omega }^2) \end{gathered}$$

  我们发现Y仍然是个高斯分布

$$Y\sim N(0,1)$$

  然后再计算一下二者的相关

$$\begin{gathered} E(XY)=E(Z{X}^2)=E(Z)E(X^2)=0 \\ E(X)=E(Y)=0 \\ \Rightarrow E(XY)=E(X)E(Y)=0 \end{gathered}$$

  能够看出，两个高斯分布不相关，但是不是独立的。

4.3 联合高斯分布的不相关和独立

  既然两个随便的随机变量不相关得不得独立，两个高斯分布不相关得不得独立，什么条件下才能够通过不相关推导出独立呢?

  当两个随机变量是联合高斯分布的时候，二者如果不相关，则一定独立

$$\{\begin{array}{l}\text{Joint Gaussian}\\ \text{Uncorrelated}\end{array}\Rightarrow \text{independent}$$

  我们可以证明一下

$$f_{X,Y}(x,y)=\frac{1}{2\pi {\sigma }_x{\sigma }_y\sqrt{1-{\rho }^2}}exp(-\frac{1}{2}\left(\begin{array}{cc}x-{\mu }_x& y-{\mu }_y\end{array}\right){\left(\begin{array}{cc}{\sigma }_x^2& {\sigma }_{xy}\\ {\sigma }_{xy}& {\sigma }_y^2\end{array}\right)}^{-1}\left(\begin{array}{c}x-{\mu }_x\\ y-{\mu }_y\end{array}\right))$$

  如果x和y不相关，意味着x和y的互相关是0,并且相关系数ρ也是0

$$\begin{gathered} f_{X,Y}(x,y)=\frac{1}{2\pi {\sigma }_x{\sigma }_y}exp(-\frac{1}{2}\left(\begin{array}{cc}x-{\mu }_x& y-{\mu }_y\end{array}\right){\left(\begin{array}{cc}{\sigma }_x^2& 0\\ 0& {\sigma }_y^2\end{array}\right)}^{-1}\left(\begin{array}{c}x-{\mu }_x\\ y-{\mu }_y\end{array}\right)) \\ =\frac{1}{\sqrt{2\pi }{\sigma }_x}exp(-\frac{(x-{\mu }_x{)}^2}{2{\sigma }_x^2})\frac{1}{\sqrt{2\pi }{\sigma }_y}exp(-\frac{(y-{\mu }_y{)}^2}{2{\sigma }_y^2}) \\ =f_X(x)f_Y(y) \end{gathered}$$

  就能够证明，如果两个随机变量满足联合高斯分布，如果二者不相关，必然独立

  这里可以说一下PCA和ICA的区别，PCA得到的分量是不相关的，但是不是独立的。ICA得到的分量是独立的。如果我们处理的数据是高斯的，PCA和ICA是等价的

  类似的结论可以推广到n元高斯，如果彼此之间不相关，必然彼此之间是独立的。

$$\begin{gathered} Z=(Z_1,...,Z_n{)}^T\sim N \\ E(Z_i{Z}_j)=E(Z_i)E(Z_j)\Rightarrow \Sigma =diag \\ \Rightarrow (Z_1,...,Z_n)\text{is independent} \end{gathered}$$

  这个结论反之也成立。如果相互独立的n个随机变量，每个都符合高斯分布，则他们满足联合高斯分布

$$\begin{gathered} Z_1,...,Z_n\text{ independent} \\ {Z}_k\sim N\Rightarrow Z=(Z_1,...,Z_n)\sim N \end{gathered}$$

4.4 两个例子

4.4.1 利用独立性求条件概率

  第一个例子，如果Z和Y是独立的，并且都满足高斯分布，我们求一个条件期望

$$Z,Y\text{ i.i.d}\sim N(0,1)\Rightarrow E((Z-Y{)}^2|Z+Y)$$

  首先，如果Z和Y满足高斯分布，并且是独立的，他们一定满足联合高斯分布。

$$\begin{gathered} \text{Step 1} \\ Z,Y\text{ i.i.d}\sim N(0,1) \\ (Z,Y{)}^T\sim N(\left(\begin{array}{c}0\\ 0\end{array}\right),\left(\begin{array}{cc}1& 0\\ 0& 1\end{array}\right)) \end{gathered}$$

  其次，然后他们的和差也是高斯分布，因为高斯的线性变换还是高斯

$$\text{Step 2}\left(\begin{array}{c}Z-Y\\ Z+Y\end{array}\right)=\left(\begin{array}{cc}1& -1\\ 1& 1\end{array}\right)\left(\begin{array}{c}Z\\ Y\end{array}\right)=A\left(\begin{array}{c}Z\\ Y\end{array}\right)$$

  然后我们计算一下新的联合高斯的均值和方差

$$\begin{gathered} \text{Step 3}\left(\begin{array}{c}Z-Y\\ Z+Y\end{array}\right)\sim N(A\left(\begin{array}{c}0\\ 0\end{array}\right),A^T\left(\begin{array}{cc}1& 0\\ 0& 1\end{array}\right)A) \\ =\sim N(\left(\begin{array}{c}0\\ 0\end{array}\right),\left(\begin{array}{cc}2& 0\\ 0& 2\end{array}\right)) \end{gathered}$$

  我们发现得到的新联合高斯分布是不相关的，则必然Z-Y和Z+Y是独立的,然后我们要求的这个条件期望其实是与后面没有关系的。要求的就是Z-Y这个随机变量的方差，也就是2

$$\begin{gathered} \text{Step 4} \\ E((Z-Y{)}^2|Z+Y)=E((Z-Y{)}^2)=2 \end{gathered}$$

4.4.2 解释方差和样本方差的关系

(1) 问题描述

  我们知道，如果要估计一组采样数据，可以通过多次实验取平均的方法，这是因为取均值可以降低方差。这里多次实验要求彼此之间结果是不相关的。

{ Z 1 , . . . , Z n }  i.i.d ⇒ Z = 1 n ∑ k = 1 n Z k \{ Z_1,...,Z_n\} \text{ i.i.d} \\ \Rightarrow Z = \frac{1}{n} \sum_{k=1}^n Z_k \\ {Z1​,...,Zn​} i.i.d⇒Z=n1​k=1∑n​Zk​

  求期望

$$\begin{gathered} E(Z)=E(\frac{1}{n}\sum _{k=1}^n{Z}_k)=E(Z_1) \\ {Z}_k=A+N_k\Rightarrow E(Z_k)=A \end{gathered}$$

  求方差，由于彼此不相关，交叉项为0

$$\begin{gathered} Var(Z)=E((Z-E(Z){)}^2)=E((\frac{1}{n}\sum _{k=1}^n{Z}_k-A{)}^2) \\ =\frac{1}{n^2}E(\sum _{k=1}^n{Z}_k-nA{)}^2 \\ =\frac{1}{n^2}E(\sum _{k=1}^n(Z_k-A){)}^2 \\ =\frac{1}{n^2}E(\sum _{k=1}^n(Z_k-A{)}^2+\sum _{i\cancel{=}j}(Z_i-A)(Z_j-A)) \\ =\frac{1}{n^2}\sum _{k=1}^{n}E((Z_k-A{)}^2)+\sum _{i\cancel{=}j}E(Z_i-A)(Z_j-A)) \\ =\frac{1}{n^2}\sum _{k=1}^{n}E((Z_k-A{)}^2)=\frac{1}{n}E((Z_k-A{)}^2)=\frac{1}{n}Var(Z_1) \end{gathered}$$

  但是，我们实际实验中，是得不得期望的，我们只能用实验数据平均值作为期望，然后用这个数据来求方差。这样得到的方差叫做样本方差

$$\begin{gathered} E(Z-EZ{)}^2 \\ \text{Sample Variance} \\ {\hat{\sigma }}^2=\frac{1}{n-1}\sum _{k=1}^n(Z_k-\frac{1}{n}\sum _{k=1}^n{Z}_k{)}^2 \end{gathered}$$
  只有样本方差前面是n-1，这个对方差的估计才是个无偏估计

$$E({\hat{\sigma }}^2)=Var(Z_1)$$

  有了样本方差之后，再来表示一下样本均值

$$\hat{S}=\frac{1}{n}\sum _{k=1}^n{Z}_k$$

(2) 独立性

  这里我们想证明一个有趣的事情。如果我们所有的采样数据，不但是独立同分布的，而且还都是高斯分布，我们其实可以证明样本均值和样本方差之间是独立的。

  我们假设随机矢量Z

$$Z=(Z_1,...,Z_n{)}^T$$

  由于每个Z_k都是独立的高斯分布，因此，随机矢量Z必定是联合高斯分布

$$Z\sim N(\mu ,{\sigma }^{2}I)$$

  并且，我们假设有一个正交矩阵U，正交矩阵的第一行我们定义全部是1/sqrt{n},其余的参数不做限定，只要能够构成正交矩阵即可

$$U=\left(\begin{array}{ccc}\frac{1}{\sqrt{n}}& ...& \frac{1}{\sqrt{n}}\\ \ast & \ast & \ast \\ \ast & \ast & \ast \end{array}\right)$$

  则，我们定义经过Z经过线性变换U之后得到的新随机矢量为Y。新随机矢量的第一个参数就是sqrt{n}*样本均值。其余位置我们不在乎

$$\begin{gathered} Y=UZ=\left(\begin{array}{ccc}\frac{1}{\sqrt{n}}& ...& \frac{1}{\sqrt{n}}\\ \ast & \ast & \ast \\ \ast & \ast & \ast \end{array}\right)\ast \left(\begin{array}{c}{Z}_1\\ ...\\ Z_n\end{array}\right) \\ =\left(\begin{array}{c}\frac{1}{\sqrt{n}}{Z}_1+..{.}_{+}\frac{1}{\sqrt{n}}{Z}_n\\ ...\\ \ast \end{array}\right)=\left(\begin{array}{c}\sqrt{n}\hat{S}\\ ...\\ \ast \end{array}\right) \end{gathered}$$
  可得

Y 1 = 1 n Z 1 + . . . + 1 n Z n = n S ^ Y = { Y 1 , . . . , Y n } Y_1 = \frac{1}{\sqrt{n}}Z_1 + ..._+ \frac{1}{\sqrt{n}}Z_n = \sqrt{n}\hat S \\ Y = \{Y_1,...,Y_n\} Y1​=n ​1​Z1​+...+​n ​1​Zn​=n ​S^Y={Y1​,...,Yn​}

  由于Z是联合高斯，Y必然也是联合高斯的

$$Y\sim N(U^T\mu ,U^T{\sigma }^{2}IU)=N(U^T\mu ,{\sigma }^{2}I)$$

  然后我们表示一下样本方差

$$\begin{gathered} {\hat{\sigma }}^2=\frac{1}{n-1}\sum _{k=1}^n(Z_k-\frac{1}{n}\sum _{k=1}^n{Z}_k{)}^2 \\ =\frac{1}{n-1}\sum _{k=1}^n(Z_k-\hat{S}{)}^2 \\ =\frac{1}{n-1}(\sum _{k=1}^n{Z}_k^2-2\sum _{k=1}^n{Z}_k\hat{S}+\sum _{k=1}^n{\hat{S}}^2) \end{gathered}$$
  由于

$$\hat{S}=\frac{1}{n}\sum _{k=1}^n{Z}_k$$

  可得

$$\sum _{k=1}^n{Z}_k=n\hat{S}$$
  代入可得

$$\begin{gathered} {\hat{\sigma }}^2=\frac{1}{n-1}(\sum _{k=1}^n{Z}_k^2-2n\ast {\hat{S}}^2+n{\hat{S}}^2) \\ =\frac{1}{n-1}(\sum _{k=1}^n{Z}_k^2-n\ast {\hat{S}}^2) \\ =\frac{1}{n-1}(Z^{T}Z-n\ast {\hat{S}}^2)=\frac{1}{n-1}(Z^{T}Z-n\ast {\hat{S}}^2) \end{gathered}$$

  由于

$$Y^{T}Y=Z^T{U}^{T}UZ=Z^{T}Z$$

  代入可得

$$\begin{gathered} {\hat{\sigma }}^2=\frac{1}{n-1}(Y^{T}Y-n\ast {\hat{S}}^2) \\ =\frac{1}{n-1}(\sum _{k=1}^n{Y}_k^2-n\ast {\hat{S}}^2) \end{gathered}$$

  由于我们前面构造的Y₁满足这样的关系，所以我们可以把后面的东西减掉。

$$Y_1^2=n\ast {\hat{S}}^2$$

$$\begin{gathered} {\hat{\sigma }}^2=\frac{1}{n-1}(\sum _{k=1}^n{Y}_k^2-Y_1^2) \\ =\frac{1}{n-1}\sum _{k=2}^n{Y}_k^2 \end{gathered}$$

  由于,Y是相互独立的，并且样本方差和样本均值具有如下表示形式，因此能够证明样本方差和样本均值之间是独立的。
$$\begin{gathered} \text{Sample Mean} \\ \hat{S}=\sqrt{n}{Y}_1 \\ \text{Sample Variance} \\ {\hat{\sigma }}^2=\frac{1}{n-1}\sum _{k=2}^n{Y}_k^2=\frac{1}{n-1}(Y_2^2+...+Y_n^2) \end{gathered}$$

  也能够证明，实际上方差只有n-1个自由度。这个结论非常有名，叫做Cochran Theorem。

$$\text{Cochran Theorem}$$

(3) 无偏估计

  然后，我们想来证明一下，为什么样本方差前面是n-1，这主要是因为，只有前面是n-1，才能保证样本方差是个无偏估计，样本方差和方差之间的期望相同，即

$$E({\hat{\sigma }}^2)=Var(Z)$$

  下面证明一下

$$\begin{gathered} {\hat{\sigma }}^2=\frac{1}{n-1}\sum _{k=1}^n(Z_k-\hat{S}{)}^2 \\ E({\hat{\sigma }}^2)=\frac{1}{n-1}E(\sum _{k=1}^n(Z_k-\hat{S}{)}^2) \\ =\frac{1}{n-1}E(\sum _{k=1}^n{Z}_k^2-2\sum _{k=1}^n\hat{S}{Z}_k+\sum _{k=1}^n{\hat{S}}^2) \\ =\frac{1}{n-1}E(\sum _{k=1}^n{Z}_k^2-2n{\hat{S}}^2+n{\hat{S}}^2) \\ =\frac{1}{n-1}E(\sum _{k=1}^n{Z}_k^2-n{\hat{S}}^2) \end{gathered}$$

  由于

$${\hat{S}}^2=\frac{1}{n^2}(\sum _{k=1}^n{Z}_k^2+\sum _{i\cancel{=}j}{Z}_i{Z}_j)$$

  则

$$\begin{gathered} E({\hat{\sigma }}^2)=\frac{1}{n-1}E(\sum _{k=1}^n{Z}_k^2-\frac{1}{n}(\sum _{k=1}^n{Z}_k^2+\sum _{i\cancel{=}j}{Z}_i{Z}_j)) \\ =\frac{1}{n-1}(\sum _{k=1}^{n}E(Z_k^2)-\frac{1}{n}\sum _{k=1}^{n}E(Z_k^2)-\frac{1}{n}\sum _{i\cancel{=}j}E(Z_i)E(Z_j)) \\ =\frac{1}{n-1}(n\ast E(Z_1^2)-\frac{1}{n}nE(Z_1^2)-\frac{1}{n}n\ast (n-1)E(Z_1)E(Z_1)) \\ =\frac{1}{n-1}((n-1)E(Z_1^2)-(n-1)E(Z_1{)}^2) \\ =E(Z_1^2)-E(Z_1{)}^2)=Var(Z_1) \end{gathered}$$

  能够证明，只有除以n-1，才是对方差的无偏估计

5. 高斯条件分布

5.1 条件高斯分布的计算

$$\text{Conditional Distribution}$$

  假设Z符合联合高斯分布，并且可以分成Z₁和Z₂两个联合高斯分布，则Z可以表示为

$$\begin{gathered} Z=(Z_1,Z_2{)}^T\in R^{m+n} \\ {Z}_1\in R^m \\ {Z}_2\in R^n \end{gathered}$$

$$Z\sim N(\left(\begin{array}{c}{\mu }_1\\ {\mu }_2\end{array}\right),\left(\begin{array}{cc}{\Sigma }_{11}& {\Sigma }_{12}\\ {\Sigma }_{21}& {\Sigma }_{22}\end{array}\right))$$

  要求条件分布Z₂|Z₁，条件分布就是二者的联合分布，然后除以Z₂的边缘分布

$$Z_2|Z_1=f_{Z_2|Z_1}(z_2|z_1)=\frac{f_{Z_1{Z}_2}(z_1{z}_2)}{f_{Z_2}(z_2)}$$

  由于联合高斯中取出来一部分还是高斯，所以上面是个高斯，下面还是个高斯，因此得到的结果就是，前面是个常数，然后知识里面有加减，最终得到的还是一个高斯分布

$$\frac{f_{Z_1{Z}_2}(z_1{z}_2)}{f_{Z_2}(z_2)}=\frac{c_{1}exp(-\frac{1}{2}(z_1^T-{\mu }_1^T,z_2^T-{\mu }_2^T){\Sigma }^{-1}(z_1-{\mu }_1,z_2-{\mu }_2))}{c_{2}exp(-\frac{1}{2}(z_2^T-{\mu }_2^T){\Sigma }_{22}^{-1}(z_2-{\mu }_2))}$$

  其中

$$\Sigma =\left(\begin{array}{cc}{\Sigma }_{11}& {\Sigma }_{12}\\ {\Sigma }_{21}& {\Sigma }_{22}\end{array}\right)$$

  指数相除可以转化为加减，我们只表示指数即可

$$-\frac{1}{2}(z_1^T-{\mu }_1^T,z_2^T-{\mu }_2^T){\Sigma }^{-1}(z_1-{\mu }_1,z_2-{\mu }_2)+\frac{1}{2}(z_2^T-{\mu }_2^T){\Sigma }_{22}^{-1}(z_2-{\mu }_2)$$

  首先，我们要处理逆矩阵，把这个逆矩阵对角化，但是不是用特征分解的方法,先用行变换去掉右上角的数，然后用列变换去掉左下角的数即可

$$\begin{gathered} \left(\begin{array}{cc}I& -{\Sigma }_{12}{\Sigma }_{22}^{-1}\\ 0& I\end{array}\right)\ast \left(\begin{array}{cc}{\Sigma }_{11}& {\Sigma }_{12}\\ {\Sigma }_{21}& {\Sigma }_{22}\end{array}\right)\ast \left(\begin{array}{cc}I& 0\\ -{\Sigma }_{22}^{-1}{\Sigma }_{21}& I\end{array}\right) \\ =\left(\begin{array}{cc}{\Sigma }_{11}-{\Sigma }_{12}{\Sigma }_{22}^{-1}{\Sigma }_{21}& 0\\ 0& {\Sigma }_{22}\end{array}\right) \end{gathered}$$

  移相

$$\left(\begin{array}{cc}{\Sigma }_{11}& {\Sigma }_{12}\\ {\Sigma }_{21}& {\Sigma }_{22}\end{array}\right)={\left(\begin{array}{cc}I& -{\Sigma }_{12}{\Sigma }_{22}^{-1}\\ 0& I\end{array}\right)}^{-1}\ast \left(\begin{array}{cc}{\Sigma }_{11}-{\Sigma }_{12}{\Sigma }_{22}^{-1}{\Sigma }_{21}& 0\\ 0& {\Sigma }_{22}\end{array}\right)\ast {\left(\begin{array}{cc}I& 0\\ -{\Sigma }_{22}^{-1}{\Sigma }_{21}& I\end{array}\right)}^{-1}$$

  求逆

$$\begin{gathered} {\left(\begin{array}{cc}{\Sigma }_{11}& {\Sigma }_{12}\\ {\Sigma }_{21}& {\Sigma }_{22}\end{array}\right)}^{-1}=\left(\begin{array}{cc}I& 0\\ -{\Sigma }_{22}^{-1}{\Sigma }_{21}& I\end{array}\right)\ast {\left(\begin{array}{cc}{\Sigma }_{11}-{\Sigma }_{12}{\Sigma }_{22}^{-1}{\Sigma }_{21}& 0\\ 0& {\Sigma }_{22}\end{array}\right)}^{-1}\ast \left(\begin{array}{cc}I& -{\Sigma }_{12}{\Sigma }_{22}^{-1}\\ 0& I\end{array}\right) \\ =\left(\begin{array}{cc}I& 0\\ -{\Sigma }_{22}^{-1}{\Sigma }_{21}& I\end{array}\right)\ast \left(\begin{array}{cc}({\Sigma }_{11}-{\Sigma }_{12}{\Sigma }_{22}^{-1}{\Sigma }_{21}{)}^{-1}& 0\\ 0& {\Sigma }_{22}^{-1}\end{array}\right)\ast \left(\begin{array}{cc}I& -{\Sigma }_{12}{\Sigma }_{22}^{-1}\\ 0& I\end{array}\right) \end{gathered}$$

  求联合分布的二次型

$$\begin{gathered} -\frac{1}{2}(z_1^T-{\mu }_1^T,z_2^T-{\mu }_2^T){\Sigma }^{-1}(z_1-{\mu }_1,z_2-{\mu }_2) \\ =-\frac{1}{2}(z_1^T-{\mu }_1^T,z_2^T-{\mu }_2^T)\left(\begin{array}{cc}I& 0\\ -{\Sigma }_{22}^{-1}{\Sigma }_{21}& I\end{array}\right)\ast \\ \left(\begin{array}{cc}({\Sigma }_{11}-{\Sigma }_{12}{\Sigma }_{22}^{-1}{\Sigma }_{21}{)}^{-1}& 0\\ 0& {\Sigma }_{22}^{-1}\end{array}\right)\ast \\ \left(\begin{array}{cc}I& -{\Sigma }_{12}{\Sigma }_{22}^{-1}\\ 0& I\end{array}\right)(z_1-{\mu }_1,z_2-{\mu }_2) \\ =-\frac{1}{2}\left(\begin{array}{c}(z_1^T-{\mu }_1^T)-(z_2^T-{\mu }_2^T){\Sigma }_{22}^{-1}{\Sigma }_{21},z_2^T-{\mu }_2^T\end{array}\right) \\ \ast \left(\begin{array}{cc}({\Sigma }_{11}-{\Sigma }_{12}{\Sigma }_{22}^{-1}{\Sigma }_{21}{)}^{-1}& 0\\ 0& {\Sigma }_{22}^{-1}\end{array}\right)\ast \\ ((z_1-{\mu }_1)-{\Sigma }_{12}{\Sigma }_{22}^{-1}(z_2-{\mu }_2),z_2-{\mu }_2) \\ =-\frac{1}{2}[(z_2^T-{\mu }_2^T){\Sigma }_{22}^{-1}(z_2-{\mu }_2)+ \\ ((z_1^T-{\mu }_1^T)-(z_2^T-{\mu }_2^T){\Sigma }_{22}^{-1}{\Sigma }_{21})({\Sigma }_{11}-{\Sigma }_{12}{\Sigma }_{22}^{-1}{\Sigma }_{21}{)}^{-1}((z_1-{\mu }_1)-{\Sigma }_{12}{\Sigma }_{22}^{-1}(z_2-{\mu }_2))] \end{gathered}$$

  我们发现得到的联合分布的二次型能与后面边缘分布的二次型抵消一部分
$$\begin{gathered} -\frac{1}{2}(z_1^T-{\mu }_1^T,z_2^T-{\mu }_2^T){\Sigma }^{-1}(z_1-{\mu }_1,z_2-{\mu }_2)+\frac{1}{2}(z_2^T-{\mu }_2^T){\Sigma }_{22}^{-1}(z_2-{\mu }_2) \\ =\frac{1}{2}(z_2^T-{\mu }_2^T){\Sigma }_{22}^{-1}(z_2-{\mu }_2)-\frac{1}{2}[(z_2^T-{\mu }_2^T){\Sigma }_{22}^{-1}(z_2-{\mu }_2)+ \\ ((z_1^T-{\mu }_1^T)-(z_2^T-{\mu }_2^T){\Sigma }_{22}^{-1}{\Sigma }_{21})({\Sigma }_{11}-{\Sigma }_{12}{\Sigma }_{22}^{-1}{\Sigma }_{21}{)}^{-1}((z_1-{\mu }_1)-{\Sigma }_{12}{\Sigma }_{22}^{-1}(z_2-{\mu }_2))] \\ =-\frac{1}{2}[((z_1^T-{\mu }_1^T)-(z_2^T-{\mu }_2^T){\Sigma }_{22}^{-1}{\Sigma }_{21})({\Sigma }_{11}-{\Sigma }_{12}{\Sigma }_{22}^{-1}{\Sigma }_{21}{)}^{-1}((z_1-{\mu }_1)-{\Sigma }_{12}{\Sigma }_{22}^{-1}(z_2-{\mu }_2))] \\ =-\frac{1}{2}[(z_1^T-({\mu }_1^T+(z_2^T-{\mu }_2^T){\Sigma }_{22}^{-1}{\Sigma }_{21}))({\Sigma }_{11}-{\Sigma }_{12}{\Sigma }_{22}^{-1}{\Sigma }_{21}{)}^{-1}(z_1-({\mu }_1+{\Sigma }_{12}{\Sigma }_{22}^{-1}(z_2-{\mu }_2)))]=(z_1-{\mu }_{1|2}{)}^T{\Sigma }_{1|2}(z_1-{\mu }_{1|2}) \end{gathered}$$

  这个式子可以表示为新的高斯分布，并且我们可以表示一下条件高斯分布中的条件期望和条件方差

$$\begin{gathered} {\mu }_{1|2}={\mu }_1+{\Sigma }_{12}{\Sigma }_{22}^{-1}(z_2-{\mu }_2) \\ {\Sigma }_{1|2}={\Sigma }_{11}-{\Sigma }_{12}{\Sigma }_{22}^{-1}{\Sigma }_{21} \end{gathered}$$

5.2 条件期望与最优估计

5.2.1 高斯条件分布得到的条件期望的意义

  我们可以看我们上面得到的条件均值μ_1|2,这里面，相当于，我们本来1和2的信息都不知道，现在了解到了2的信息，我们就可以基于2的信息对1的均值进行适当的调整。

$${\mu }_{1|2}={\mu }_1+{\Sigma }_{12}{\Sigma }_{22}^{-1}(z_2-{\mu }_2)$$

  后面部分其实是一个投影，随机矢量1向随机矢量2上的投影,因为1的信息不知道，但是我们知道2的信息，通过把未知的随机矢量往已知的上面靠，能够更好的利用已知信息修正未知量。

$${\Sigma }_{12}{\Sigma }_{22}^{-1}(z_2-{\mu }_2)$$

5.2.2 随机变量的最优线性估计

  我们可以看，利用一个随机变量去估计另外一个随机变量会得到什么。我们采用线性估计的方法,用y去估计x

$$\begin{gathered} x,yr.v. \\ E(x)=E(y)=0 \\ \text{Let }x=\alpha y \\ minE(x-\alpha y{)}^2 \end{gathered}$$

  来算一下这个目标函数

$$\begin{gathered} f(\alpha )=E(x-\alpha y{)}^2=E(x^2-2\alpha xy+{\alpha }^2{y}^2) \\ =E(x^2)-2\alpha E(xy)+{\alpha }^{2}E(y^2) \\ \frac{df}{d\alpha }=-2E(xy)+2\alpha E(y^2)=0 \\ \alpha =\frac{E(xy)}{E(y^2)} \end{gathered}$$

  我们可以发现，x在y上的投影，就是y对x的最优线性估计。

  如果我们的随机变量是满足高斯分布的，那么最优的线性估计就是最优估计。因为能够达到卡拉美罗下界。

5.2.3 随机变量的最优估计

  但是对于一般的随机变量，y对x的最优估计，是条件期望 E(x|y)

  我们也来定义均方意义下的最优估计模型

$$\begin{gathered} minE(x-g(y){)}^2 \\ {g}_{opt}(y)=E(x|y) \\ E(x-E(x|y)+E(x|y)-g(y){)}^2 \\ =E((x-E(x|y){)}^2+(E(x|y)-g(y){)}^2+(x-E(x|y))(E(x|y)-g(y))) \\ =E((x-E(x|y){)}^2)+E((E(x|y)-g(y){)}^2)+E((x-E(x|y))(E(x|y)-g(y))) \end{gathered}$$

  我们证明一下交叉项为0

$$\begin{gathered} E((x-E(x|y))(E(x|y)-g(y))) \\ =E_y{E}_x[((x-E(x|y))(E(x|y)-g(y)))|y] \\ =E_y((E(x|y)-g(y))E_x(x-E(x|y))|y) \\ =E_y((E(x|y)-g(y))(E(x|y)-E(x|y)))=0 \end{gathered}$$

  所以目标函数变成了

$$E(x-g(y){)}^2=E((x-E(x|y){)}^2)+E((E(x|y)-g(y){)}^2)$$

  这是两个平方和的期望，如果希望最小，必定有

$$g_{opt}(y)=E(x|y)$$

  因此，我们知道了，一般的随机变量的最优估计，是条件期望。如果是用y估计x就是E(x|y)

5.2.4 条件高斯分布的条件方差

  我们再来看一下这个条件方差

$${\Sigma }_{1|2}={\Sigma }_{11}-{\Sigma }_{12}{\Sigma }_{22}^{-1}{\Sigma }_{21}$$

  因为协方差都是大于0的，因此这个条件方差必然比z₁的方差会小。因为条件期望，使得某些部分得到了确定，随机性就变小了，方差也就小了

  并且这个条件方差必然大于0。不仅仅是从定义角度来看成立。而且也是一个柯西不等式

$$\begin{gathered} {\sigma }_{11}\ge \frac{{\sigma }_{12}^2}{{\sigma }_{22}} \\ \Rightarrow {\sigma }_{12}^2\le {\sigma }_{11}{\sigma }_{22} \\ \Rightarrow |<x,y>{|}^2\le <x,x><y,y> \end{gathered}$$