随机变量概率密度函数和概率分布函数相关总结

概率密度函数和概率分布函数的基本概念：

随机变量是指在任何时间点上，值都是不能完全确定的，最多只能知道它可能落在哪个区间上，那么怎样去描述这个变量呢？只能通过概率。概率密度函数(Probability Density Function, PDF)和概率分布函数(又称累积分布函数, Cumulative Distribution Function, CDF)分别从两个不同的角度来描述随机变量的概率。在说明PDF和CDF之前，首先来看一个统计问题，对于一组随机数，通常可以利用直方图来表示这组随机数在各个区间上的分布情况，如下图所示为随机生成100000个高斯分布的样本

图1 直方图和概率密度函数示意图 画直方图需要经过以下步骤：1)确定区间数目和区间大小；2)统计每个区间上的样本数目;3)根据每个区间上的样本数目决定该区间对应的矩形的高度并绘制直方图。所以样本分布在每一个区间上的概率可以通过该区间上的样本数除以总样本数求得。当区间无限小时(通常对应连续取值的样本)，直方图退化为一条连续的曲线，这条曲线对应的函数表达式就称为PDF。从上面的分析可以看出离散样本情况下要求样本出现在某一范围内的概率，可以通过将对应区间上的直方图求和得到，而对于连续样本，其对应区间上的PDF与x轴围成的面积，即表示样本落在该范围上的概率，可以通过下面的表达式来表示

$$P(x_1<x\le x_2)={\int }_{x_1}^{x_2}f(x)dx\text{\hspace{1em}(1)}$$

显然$f(x)\ge 0$，且${\int }_{x_1}^{x_2}f(x)dx=1$，为了从数学上更好地表示$(1)$，我们定义了CDF，其定义方式如下：
$$F(x)=P(X\le x)\text{\hspace{1em}(2)}$$

从$(1)$可以看出$F(x)$暗含着概率累积的概念，这也就是它为什么又叫做累积分布函数的原因，这通过离散型随机变量的例子可以很容易理解，比如随机变量$X$的取值是$0\backsim 5$的整数，则$F(3)=P(X\le 3)=P(0)+P(1)+P(2)+P(3)$。对比$(1)(2)$两式可得

$$P(x_1<x\le x_2)=F(x_2)-F(x_1)={\int }_{x_1}^{x_2}f(x)dx\text{\hspace{1em}(3)}$$
$(3)$给出了PDF和CDF之间的关系，除此之外，它们还有如下一些常用的性质：

1. $F(x)$是一个不减函数，即$F(x_2)-F(x_1)=P(x_1<x\le x_2)\ge 0$，其中$x_1<x_2$；
2. $0\le F(x)\le 1$，且$F(-\infty )={\lim }_{x\to -\infty }F(x)=P(X<-\infty )=0$，$F(\infty )={\lim }_{x\to \infty }F(x)=P(X<\infty )=1$；
3. $F(x)={\int }_{-\infty }^{x}f(t)dt$，$F^{\prime }(x)=f(x)$。

显然，当知道一个随机变量的PDF或CDF之后，该随机变量就能被很好描述了，所以确定随机变量的PDF或CDF是随机变量处理中的非常重要的一个内容。
PDF和CDF的更详细的信息，可以参考相关资料，比如《概率分布函数、概率密度函数》

上面讨论的都是一个随机变量的情况，在实际情况中经常需要考虑多个随机变量，下面以二维随机变量为例进行简单的说明。设$X$，$Y$为两个随机变量，显然它们各自都有对应的PDF和CDF，分别记为$f_X(x),F_X(x)$和$f_Y(y),F_Y(y)$，同时这两个随机变量还共同组成一个PDF和CDF，记为$f_{XY}(x,y),F_{XY}(x,y)$，则上面各个变量之间存在如下一些常用的基本的关系：

1. $F_{XY}(x,y)=P(X\le x,Y\le y)={\int }_{-\infty }^y{\int }_{-\infty }^{x}f(\mu ,\upsilon )d\mu d\upsilon$，$F_{XY}(-\infty ,\infty )={\int }_{-\infty }^{\infty }{\int }_{-\infty }^{\infty }f(x,y)dxdy=1$；
2. $f_{XY}(x,y)=\frac{{\partial }^2{F}_{XY}(x,y)}{\partial x\partial y}$
3. $F_X(x)=F_{XY}(x,\infty ),F_Y(y)=F_{XY}(\infty ,y),f_X(x)={\int }_{-\infty }^{\infty }{f}_{XY}(x,y)dy,f_Y(y)={\int }_{-\infty }^{\infty }{f}_{XY}(x,y)dx$

需要注意的是各随机变量之间可能是相关的，也就是彼此可能相互影响，所以综合的PDF和CDF不仅与每个随机变量各自的PDF和CDF有关，还和它们彼此之间的相关性有关。考虑一种最简单的情况，即当所有随机变量互相独立时，此时可以得到以下常用的结论：

1. $P(X\le x,Y\le y)=P(X\le x)P(Y\le y),F_{XY}(x,y)=F_X(x)F_Y(y),f_{XY}(x,y)=f_X(x)f_Y(y)$

更多多维随机变量相关内容可以查阅资料，如《多维随机变量》

---

随机变量函数的概率密度函数和概率分布函数:
在实际应用中往往关注的不是某个随机变量的分布特征，而是这个随机变量某个函数的分布特征，比如在对复随机信号进行处理时，我们往往并不会关注它的实部、虚部分别满足什么样的分布，而是更希望了解它的幅度或功率的分布情况。因此需要探究如何根据已知随机变量的分布情况，求它的某个函数的分布情况，首先来考虑单个随机变量的情况，设随机变量$X$的PDF和CDF分别为$f_X(x),F_X(x)$，$Y=g(X)$为随机变量$X$的一个函数，现在需要求解$Y$​的分布规律。求解方法如下：
$$\begin{array}{c}\begin{array}{rl}{F}_Y(y)& =P(Y\le y)=P(g(X)\le y)=P(X\le h(y))=F_X(h(y))\\ f_Y(y)& =F_Y^{\prime }(y)=f_X(h(y))h^{\prime }(y)\end{array}\end{array}\text{\hspace{1em}(4)}$$
上面的式子仅展示了一个基本的求解思路，并不严谨，基本的思路就是利用函数表达式$Y=g(X)$，将$X$表示为$Y$的函数，即$X=h(Y)$，这样就能利用$X$的分布情况来求$Y$的分布情况，以下给出更严谨的定理：

设随机变量$X$​具有PDF$f_X(x),-\infty <x<\infty$​，又设函数$g(x)$​处处可导且恒有$g^{\prime }(x)>0$​(或恒有$g^{\prime }(x)<0$​)，则$Y=g(X)$​​​是连续型随机变量，其概率密度函数为
$$f_Y(y)=\{\begin{array}{ll}{f}_X[h(y)]|h^{\prime }(y)|,& \text{α<y<β}\\ 0,& \text{other}\end{array}\text{\hspace{1em}(5)}$$
其中$\alpha =min[g(-\infty ),g(\infty )],\beta =max[g(-\infty ),g(\infty )]$，$h(y)$是$g(x)$​​的反函数。

上面给出了单个随机变量的函数的PDF求解方法，对于多个随机变量函数的PDF，可以按照类似的思路进行处理，但是因为涉及到多个变量，显然求解的过程会复杂很多，一般也没有一个通用的表达式，通常也只需要根据实际情况进行具体的求解，以下通过两个随机变量函数的PDF求解来展示一下基本的过程：

(1) $Z=X+Y$​​​​​​的分布
$$\begin{array}{c}\begin{array}{rl}{F}_Z(z)& =P(Z\le z)=P(X+Y\le z)={\iint }_{x+y\le z}{f}_{XY}(x,y)dxdy={\int }_{-\infty }^{\infty }[{\int }_{-\infty }^{z-y}{f}_{XY}(z-y,y)dx]dy\\ \stackrel{\mu =x+y}{\to }{F}_Z(z)& ={\int }_{-\infty }^{\infty }[{\int }_{-\infty }^z{f}_{XY}(\mu -y,y)d\mu ]dy={\int }_{-\infty }^z[{\int }_{-\infty }^{\infty }{f}_{XY}(\mu -y,y)dy]d\mu \end{array}\end{array}$$
所以$f_Z(z)={\int }_{-\infty }^{\infty }{f}_{XY}(z-y,y)dy$，由于$x,y$在上面的式子中是完全对称的，所以显然有$f_Z(z)={\int }_{-\infty }^{\infty }{f}_{XY}(x,z-x)dx$，当$X,Y$相互独立时，$f_{XY}(x,y)=f_X(x)f_Y(y)$，所以此时$f_Z(z)={\int }_{-\infty }^{\infty }{f}_X(z-y)f_Y(y)dy$或$f_Z(z)={\int }_{-\infty }^{\infty }{f}_X(x)f_Y(z-x)dx$，可以看出此时随机变量$Z$的PDF是随机变量$X,Y$的PDF的卷积。

由于两个高斯函数的卷积仍然为高斯函数，因此根据上面的结论可得，两个服从高斯分布的相互独立的随机变量的和仍然服从高斯分布，更具体地：
设$X$，$Y$相互独立且$X\backsim N({\mu }_x,{\sigma }_x^2)$，$Y\backsim N({\mu }_y,{\sigma }_y^2)$，则$Z=X+Y$仍然服从高斯分布，且$Z\backsim N({\mu }_x+{\mu }_y,{\sigma }_x^2+{\sigma }_y^2)$。进一步地，有限个相互独立的正态随机变量的线性组合仍然服从正态分布，且若$X_i\backsim N({\mu }_i,{\sigma }_i^2),i=1,2,...,n$，$Z={\sum }_{i=1}^n{k}_i{X}_i$，则$Z\backsim N({\sum }_{i=1}^n{k}_i{\mu }_i,{\sum }_{i=1}^n{k}_i^2{\sigma }_i^2)$​

(2) $Z=Y/X$​​​的分布
$$\begin{array}{c}\begin{array}{rl}{F}_Z(z)& =P(Z\le z)=P(Y/X\le z)={\iint }_{y/x\le z,x>0}{f}_{XY}(x,y)dxdy+{\iint }_{y/x\le z,x<0}{f}_{XY}(x,y)dxdy\\ & ={\int }_0^{\infty }[{\int }_{xz}^{\infty }{f}_{XY}(x,y)dy]dx+{\int }_{-\infty }^0[{\int }_{-\infty }^{xz}{f}_{XY}(x,y)dy]dx\\ & \stackrel{y=x\mu }{\to }{F}_Z(z)={\int }_0^{\infty }[{\int }_{-\infty }^{z}x{f}_{XY}(x,x\mu )d\mu ]dx+{\int }_{-\infty }^0[{\int }_z^{\infty }x{f}_{XY}(x,x\mu )d\mu ]dx\\ & ={\int }_{-\infty }^{\infty }[{\int }_{-\infty }^z|x|f_{XY}(x,x\mu )d\mu ]dx={\int }_{-\infty }^z[{\int }_{-\infty }^{\infty }|x|f_{XY}(x,x\mu )dx]d\mu \end{array}\end{array}$$
所以$f_Z(z)={\int }_{-\infty }^{\infty }|x|f_{XY}(x,xz)dx$，当$X,Y$相互独立时，$f_{XY}(x,y)=f_X(x)f_Y(y)$，所以此时$f_Z(z)={\int }_{-\infty }^{\infty }|x|f_X(x)f_Y(xz)dx$​。

(3) $Z=XY$​的分布
$$\begin{array}{c}\begin{array}{rl}{F}_Z(z)& =P(Z\le z)=P(XY\le z)={\iint }_{xy\le z,x>0}{f}_{XY}(x,y)dxdy+{\iint }_{xy\le z,x<0}{f}_{XY}(x,y)dxdy\\ & ={\int }_0^{\infty }[{\int }_{-\infty }^{z/x}{f}_{XY}(x,y)dy]dx+{\int }_{-\infty }^0[{\int }_{z/x}^{\infty }{f}_{XY}(x,y)dy]dx\\ & \stackrel{y=\mu /x}{\to }{F}_Z(z)={\int }_0^{\infty }[{\int }_{-\infty }^z\frac{1}{x}{f}_{XY}(x,\mu /x)d\mu ]dx+{\int }_{-\infty }^0[{\int }_{-\infty }^z-\frac{1}{x}{f}_{XY}(x,\mu /x)d\mu ]dx\\ & ={\int }_{-\infty }^z[{\int }_{-\infty }^{\infty }\frac{1}{|x|}{f}_{XY}(x,\mu /x)dx]d\mu \end{array}\end{array}$$
所以$f_Z(z)={\int }_{-\infty }^{\infty }\frac{1}{|x|}{f}_{XY}(x,z/x)dx$​​，当$X,Y$​​相互独立时，$f_{XY}(x,y)=f_X(x)f_Y(y)$​​，所以此时$f_Z(z)={\int }_{-\infty }^{\infty }\frac{1}{|x|}{f}_X(x)f_Y(z/x)dx$​​。

除了上述常见的随机变量函数的分布以外，复随机信号的分布也是在实际问题中经常会遇到的内容，以下来推导几个与复随机信号相关的常见的分布。

1.设$X\backsim N({\mu }_x,{\sigma }_x^2)$，$Y\backsim N({\mu }_y,{\sigma }_y^2)$，且两者相互独立，$Z=X+iY$，显然根据上面1)的结论可知，$Z$也服从高斯分布，此时$Z$的PDF可以参考《正态分布》

2.设$X\backsim N(0,{\sigma }^2)$​，$Y\backsim N(0,{\sigma }^2)$​，且两者相互独立，则$Z=X^2+Y^2$​服从指数分布，其PDF可通过下面的方法进行求解：
$$\begin{array}{c}\begin{array}{rl}{f}_X(x)& =\frac{1}{\sqrt{2\pi }\sigma }\exp (-\frac{x^2}{2{\sigma }^2})\\ f_Y(y)& =\frac{1}{\sqrt{2\pi }\sigma }\exp (-\frac{y^2}{2{\sigma }^2}),\to f_{XY}(x,y)=f_X(x)f_Y(y)=\frac{1}{2\pi {\sigma }^2}\exp (-\frac{x^2+y^2}{2{\sigma }^2})\\ F_Z(z)& =P(Z\le z)=P(X^2+Y^2\le z)={\iint }_{x^2+y^2\le z}{f}_{XY}(x,y)dxdy={\int }_0^{2\pi }[{\int }_0^{\sqrt{z}}{f}_{XY}(\rho cos\theta ,\rho sin\theta )\rho d\rho ]d\theta \\ & =\frac{1}{2\pi {\sigma }^2}{\int }_0^{2\pi }[{\int }_0^{\sqrt{z}}\exp (-\frac{{\rho }^2}{2{\sigma }^2})\rho d\rho ]d\theta =\frac{1}{2\pi {\sigma }^2}{\int }_0^{2\pi }d\theta {\int }_0^{\sqrt{z}}\exp (-\frac{{\rho }^2}{2{\sigma }^2})d{\rho }^2=1-\exp (-\frac{z}{2{\sigma }^2})\end{array}\end{array}$$
所以 $f_Z(z)=F_Z^{{}^{\prime }}(z)=\frac{1}{2{\sigma }^2}\exp (-\frac{z}{2{\sigma }^2})$​。

3.设$X\backsim N(0,{\sigma }^2)$​，$Y\backsim N(0,{\sigma }^2)$​，且两者相互独立，则$Z=\sqrt{X^2+Y^2}$​服从瑞利分布，其PDF可通过下面的方法进行求解：
$$\begin{array}{c}\begin{array}{rl}{f}_X(x)& =\frac{1}{\sqrt{2\pi }\sigma }\exp (-\frac{x^2}{2{\sigma }^2})\\ f_Y(y)& =\frac{1}{\sqrt{2\pi }\sigma }\exp (-\frac{y^2}{2{\sigma }^2}),\to f_{XY}(x,y)=f_X(x)f_Y(y)=\frac{1}{2\pi {\sigma }^2}\exp (-\frac{x^2+y^2}{2{\sigma }^2})\\ F_Z(z)& =P(Z\le z)=P(\sqrt{X^2+Y^2}\le z)={\iint }_{\sqrt{x^2+y^2}\le z}{f}_{XY}(x,y)dxdy={\int }_0^{2\pi }[{\int }_0^z{f}_{XY}(\rho cos\theta ,\rho sin\theta )\rho d\rho ]d\theta \\ & =\frac{1}{2\pi {\sigma }^2}{\int }_0^{2\pi }[{\int }_0^z\exp (-\frac{{\rho }^2}{2{\sigma }^2})\rho d\rho ]d\theta =\frac{1}{2\pi {\sigma }^2}{\int }_0^{2\pi }d\theta {\int }_0^z\exp (-\frac{{\rho }^2}{2{\sigma }^2})d{\rho }^2=1-\exp (-\frac{z^2}{2{\sigma }^2})\end{array}\end{array}$$

所以 $f_Z(z)=F_Z^{{}^{\prime }}(z)=\frac{z}{{\sigma }^2}\exp (-\frac{z^2}{2{\sigma }^2})$​​​

下面对上述复高斯变量的幅度和功率的分布进行仿真验证，仿真代码如下：

mu=0;sigma=4;                                       %高斯分布的均值和方差
x=sigma*randn(100000,1)+mu;                         %实部的值
y=4*randn(100000,1)+mu;                             %虚部的值
z1=sqrt(x.^2+y.^2);                                 %模值
z2=x.^2+y.^2;                                       %功率值

s=-20:0.1:20;
x_=exp(-(s-mu).^2./(2*sigma^2))./(sigma*sqrt(2*pi));%理论高斯分布概率密度函数
y_=exp(-(s-mu).^2./(2*sigma^2))./(sigma*sqrt(2*pi));%理论高斯分布概率密度函数
s1=0:0.1:20;
z1_=s1/sigma^2.*exp(-s1.^2/(2*sigma^2));              %理论瑞利分布概率密度函数
s2=0:0.1:400;
z2_=1/(2*sigma^2).*exp(-s2/(2*sigma^2));             %理论指数分布概率密度函数

histogram(x,'Normalization','pdf','NumBins',40);
hold on;
plot(s,x_,'LineWidth',1.5);xlabel('实部样本值');ylabel('概率');axis tight;

figure;
histogram(y,'Normalization','pdf','NumBins',40);
hold on;
plot(s,y_,'LineWidth',1.5);xlabel('实部样本值');ylabel('概率');axis tight;

figure;
histogram(z1,'Normalization','pdf','NumBins',40);
hold on;
plot(s1,z1_,'LineWidth',1.5);xlabel('幅值');ylabel('概率');axis tight;

figure;
histogram(z2,'Normalization','pdf','NumBins',40);
hold on;
plot(s2,z2_,'LineWidth',1.5);xlabel('功率值');ylabel('概率');axis tight;

运行结果如下：

(a) 实部分布图 (b) 虚部分布图 (c) 幅度分布图 (d) 功率分布图 图2 复高斯随机变量分布仿真验证结果

---

随机样本$X$的常用统计分布：

(1)正态分布
其概率密度函数可以表示为：
$$X\backsim N(\mu ,{\sigma }^2):f(x)=\frac{1}{\sqrt{2\pi {\sigma }^2}}\exp [\frac{-(x-\mu {)}^2}{2{\sigma }^2}]\text{\hspace{1em}(6)}$$
其中$\mu$，${\sigma }^2$分别表示均值和方差，当$\mu =0$，${\sigma }^2=1$​时，服从标准正态分布，其概率密度函数可以表示为:
$$X\backsim N(0,1):f(x)=\frac{1}{\sqrt{2\pi }}\exp (\frac{-x^2}{2})\text{\hspace{1em}(7)}$$

图3 高斯分布示意图(利用matlab normpdf函数绘制) *(2)$\chi^2$分布* 设$X_1$，$X_2$，...，$X_n$是来自总体$N(0,1)$​​的样本，则称统计量 $$ X=X_1^2+X_2^2+...+X_n^2 \tag{8} $$ 服从自由度为$n$​的$\chi^2$​分布，记为$X \backsim \chi^2(n)$​，其中自由度表示$(3)$​中独立变量的个数，$\chi^2(n)$​​的概率密度函数为 $$ X \backsim \chi^2(n):f(n)= \begin{cases} \frac{1}{2^{n/2}\Gamma(n/2)}x^{n/2-1}e^{-x/2}, & \text {$x>0$} \\ 0, & \text{other} \end{cases} \tag{9} $$ $\chi^2(n)$分布的均值和方差分别为：${\rm E}[X]=n$，${\rm D}[X]=2n$。 图4 卡方分布示意图(利用matlab chi2pdf函数绘制) *(3)t分布* 设$X \backsim N(0,1)$​，$Y \backsim \chi^2(n)$​，且$X$​，$Y$​​​相互独立，则称随机变量 $$ t=\frac{X}{\sqrt{Y/n}} \tag{10} $$ 服从自由度为$n$的t分布，记为$t \backsim t(n)$​，其概率密度函数可以表示为： $$ t \backsim t(n): f(t)=\frac{\Gamma[(n+1)/2]}{\sqrt{\pi n}\Gamma(n/2)}(1+\frac{t^2}{n})^{-(n+1)/2} \tag{11} $$ 图5 t分布示意图(利用matlab tpdf函数绘制) *(4)F分布* 设$U \backsim \chi^2(n_1)$​，$V \backsim \chi^2(n_2)$​，且$U$​，$V$​​​相互独立，则称随机变量 $$ X=\frac{U/n_1}{V/n_2} \tag{12} $$ 服从自由度为$(n_1,n_2)$​的F分布，记为$X \backsim F(n_1,n_2)$​​，其概率密度函数可以表示为： $$ X \backsim F(n_1,n_2): f(x)= \begin{cases} \frac{\Gamma[(n_1+n_2)/2] (n_1/n_2)^{n_1/2} x^{n_1/2-1}}{\Gamma(n_1/2)\Gamma(n_2/2)[1+(n_1 x/n_2)]^{(n_1+n_2)/2}}, & \text {$x>0$} \\ 0, & \text{other} \end{cases} \tag{13} $$ 图6 F分布示意图(利用matlab fpdf函数绘制)

关于上述分布的其他信息可以参考数理统计四大分布—正态分布、卡方分布、学生t分布和F分布

---