高斯PDF的性质及其推论

0 符号声明

（1）粗体字表示矢量或者矩阵，如$\boldsymbol{x}$表示$N$维矢量。
（2）$\mathcal{N}(\boldsymbol{x}|\boldsymbol{\mu},\boldsymbol{\Sigma})$表示随机矢量$\boldsymbol{x}$是服从均值为$\boldsymbol{\mu}$、协方差矩阵为$\boldsymbol{\Sigma}$的高斯PDF的高斯矢量。
（3）$\mathcal{N}(\boldsymbol{\boldsymbol{\mu}},\boldsymbol{\Sigma})$表示均值为$\boldsymbol{\mu}$、协方差矩阵为$\boldsymbol{\Sigma}$的多元高斯分布。
（4）’$\propto$’，表示正比于，如$x\propto y$表示$x=ay$，$a$为常数。

1 标量高斯PDF

设$X$是均值为$a$，方差为$A$的高斯随机变量，则其概率密度函数为

$$\begin{align} p_X(x)=\frac{1}{\sqrt{2\pi A}}\exp \left[{-\frac{(x-a)^2}{2A}}\right] \end{align}$$
(1)均值是否为 $\mu$？
$$\begin{align} \mathbb{E}[X]&=\int_{-\infty}^{+\infty}x\frac{1}{\sqrt{2\pi A}}\exp \left[{-\frac{(x-a)^2}{2 A}}\right]\text{d}x\\ &\overset{(a)}{=}\int_{-\infty}^{+\infty}(y+a)\frac{1}{\sqrt{2\pi A}}\exp \left({-\frac{y^2}{2A}}\right)\text{d}y\\ &=\int_{-\infty}^{+\infty}y\frac{1}{\sqrt{2\pi A}}\exp (-\frac{y^2}{2A})\text{d}y+a\int_{-\infty}^{+\infty}\frac{1}{\sqrt{2\pi A}}\exp (-\frac{y^2}{2A})\text{d}y\\ &=\mu \end{align}$$
其中步骤 $(a)$作了变量替换 $y=x-a$。

(2)方差是否为$A$?

$$\begin{align} D(X)&=\int_{-\infty}^{+\infty}(x-a)^2\frac{1}{\sqrt{2\pi A}}\exp \left[{-\frac{(x-a)^2}{2 A}}\right]\text{d}x\\ &\overset{(b)}{=}\int_{-\infty}^{+\infty}y^2\frac{1}{\sqrt{2\pi A}}\exp\left[{-\frac{y^2}{2 A}}\right]\text{d}y\\ &=2\int_{0}^{+\infty}y^2\frac{1}{\sqrt{2\pi A}}\exp\left({-\frac{y^2}{2 A}}\right)\text{d}y\\ &=\frac{2}{\sqrt{2\pi A}}\left[{-Ay\exp(-\frac{y^2}{2 A})|_0^{+\infty}+A\int^{+\infty}_0 \exp(-\frac{y^2}{2 A})\text{d}y}\right]\\ &=A \end{align}$$

(3)该高斯PDF是否满足概率归‘1’性？

$$\begin{align} \left[{\int_{-\infty}^{+\infty} p_X(x)\text{d}x}\right]^2&=\left({\int_{-\infty}^{+\infty} p_X(x)\text{d}x}\right)\left({\int_{-\infty}^{+\infty} p_X(y)\text{d}y}\right)\\ &=\frac{1}{2\pi A}\int_{-\infty}^{+\infty}\int_{-\infty}^{+\infty}\exp \left[{-\frac{(x-a)^2}{2A}}\right]\exp\left[{-\frac{(y-a)^2}{2A}}\right]\text{d}x\text{d}y\\ &\overset{(c)}{=}\frac{1}{2\pi A}\int_{-\infty}^{+\infty}\int_{-\infty}^{+\infty}\exp\left({-\frac{m^2+n^2}{2A}}\right)\text{d}m\text{d}n\\ &\overset{(d)}{=}\frac{1}{2\pi A} \int_{0}^{2\pi}\text{d}\theta\int^{+\infty}_0 \exp(-\frac{r^2}{2A})\text{d}r.r\\ &=1 \end{align}$$
其中步骤 $(c)$做了变量替换 $m=x-a, n=y-a$。步骤 $(d)$将笛卡尔坐标转换到极坐标。

2. 高斯随机变量的加减

定理：

假设$X\sim \mathcal{N}(a,A), Y\sim \mathcal{N}(b,B)$，且$X$与$Y$相互独立，则随机变量$Z=nX+mY$($n,m$为任意常数) 服从$Z\sim \mathcal{N}(na+mb,n^2A+m^2B)$.

该定理可以通过特征函数进行证明，这里采用从累计分布函数与概率密度函数的关系来证明，分为如下两个部分

(1)假设$X\sim \mathcal{N}(a,A)$， 则$nX\sim\mathcal{N}(na,n^2A)$
证明： 令$Z=nX$，则该随机变量的累积分布函数（Cumulative distribution function, CDF）为

$$\begin{align} P_Z(Z\leq z)&=P_Z(nX\leq z)\\ &=P_Z(X\leq \frac{z}{n})\\ &=\int_{-\infty}^{z/n}\frac{1}{\sqrt{2\pi A}}\exp \left[{-\frac{(x-a)^2}{2A}}\right]\text{d}x\\ \end{align}$$
对应有，该随机变量的概率密度函数（Probability density function, PDF）为
$$\begin{align} p_{Z}(z)&=\frac{\text{d}P_z(Z\leq z)}{\text{d}z}\\ &=\frac{1}{\sqrt{2\pi n^2A}}\exp \left[{-\frac{(\frac{z}{n}-a)^2}{2A}}\right]\\ &=\frac{1}{\sqrt{2\pi n^2A}}\exp \left[{-\frac{(z-na)^2}{2n^2A}}\right] \end{align}$$
(2)证明 $nX+mY\sim \mathcal{N}(na+mb,n^2A+m^2B)$

证明： 令 $\Phi=nX$, $\Psi=mY$. 由于$X$ 与$Y$相互独立，因此 $\Phi$ 与$\Psi$也是相互独立。$\Phi$与$\Psi$的联合高斯PDF为

pΦ,Ψ(ϕ,ψ)=