随机变量与分布函数

随机变量与分布函数

• 设E为随机试验, Ω = { ω } \Omega=\{\omega\} Ω={ω}为其样本空间,若对任意$\omega \in \Omega$,有唯一实数$X(\omega )$与之对应,则称$X(\omega )$ 为随机变量

• 设X为一个随机变量,对任意实数x,事件$X\le x$的概率是x的函数,记为$F(x)=P(X\le x)$
  这个函数称为X的累积概率分布函数,简称分布函数

分布函数的性质

(1)$0\le F(x)\le 1$


(2)$F(-\infty )={\lim }_{x\to -\infty }F(x)=0$


(3)$F(+\infty )={\lim }_{x\to +\infty }F(x)=1$


(4)$F(X)$是非减函数,即对任意$x_1<x_2$,有$F(x_1)\le F(x_2)$


(5)$F(x)$是右连续函数

离散型随机变量及其分布

• 若随机变量X只取有限个可能值或至多可列个可能值$x_1,x_2,...,x_i,...$假如X取$x_i$的概率为 $P(X=x_i)=p_i\ge 0,i=1,2,...$
  且满足 ${\sum }_{n=1}^{\infty }{p}_i=1$ 则称 { p i } \{p_i\} {pi​}为随机变量X的概率分布列(简称分布列)

(0—1分布)
设随机变量$X$只可能取0与1两个值,它的分布列是
P { X = k } = p k ( 1 − p ) 1 − k , k = 0 , 1 , 0 < p < 1 P \lbrace X=k\rbrace=p^k(1-p)^{1-k},k=0,1,0<p<1 P{X=k}=pk(1−p)1−k,k=0,1,0<p<1

X	0	1
P	1-p	p

二项分布
n重伯努利试验产生的概率,即符合(1)重复进行n次相互独立的试验(2)每次试验只可能有两个结果:成功与失败(3)每次出现成功的概率相同,记为p,的试验
若令$X$为n重伯努利试验中成功的次数，则:$B_{n,k}$=“n重伯努利试验中$A$出现$k$次”="$X=k$",其中$X$的取值为$0,1,\dots ,n$,则$X$取各个值得概率为
$P(X=k)=C_n^k{p}^k(1-p{)}^{n-k},k=1,2,\dots ,n$
这个概率分布为二项分布,记为$B(n,p)$,随机变量服从二项分布$B(n,p)$记为$X$~$B(n,p)$

泊松分布
设随机变量$X$所有可能取的值为$0,1,2,\dots$,而取各个值得概率为:
P { X = k } = λ k e − λ k ! , k = 0 , 1 , 2 , … P\lbrace X=k \rbrace = \frac{\lambda^ke^{- \lambda}}{k!},k=0,1,2,\dots P{X=k}=k!λke−λ​,k=0,1,2,…,其中$\lambda >0$是常数,则称$X$服从泊松(Poisson)分布,记为$X$~$P(\lambda )$

泊松定理
设$\lambda >0$是一个常数,$n$是任意正整数,设$n{p}_n=\lambda$,则对于任一固定的非负整数$k$，有${\lim }_{n\to \infty }{C}_n^k{p}_n^k(1-p_n{)}^{n-k}=\frac{{\lambda }^k{e}^{-\lambda }}{k!}$
证:由$p_n=\frac{\lambda }{n}$,有
$C_n^k{p}_n^k(1-p_n{)}^{n-k}=\frac{n(n-1)\cdots (n-k+1)}{k!}(\frac{\lambda }{n}{)}^k(1-\frac{\lambda }{n}{)}^{n-k}=\frac{{\lambda }^k}{k!}[1\cdot (1-\frac{1}{n})\cdots (1-\frac{k-1}{n})](1-\frac{\lambda }{n}{)}^n(1-\frac{\lambda }{n}{)}^{-k}$
对于任意固定的$k$,当$n\to \infty$时
$1\cdot (1-\frac{1}{n})\cdots (1-\frac{k-1}{n})\to 1,(1-\frac{\lambda }{n})\to e^{-\lambda },(1-\frac{\lambda }{n}{)}^{-k}\to 1$,
所以:$li{m}_{n\to \infty }{C}_n^k{p}_n^k(1-p{)}^{n-k}=\frac{{\lambda }^k{e}^{-\lambda }}{k!}$
由上式知当$n$很大时$p_n$必定很小,因此泊松定理表明当$n$很大,$p$很小$(np=\lambda )$时有以下近似式:
$C_n^k{p}^k(1-p{)}^{n-k}\approx \frac{{\lambda }^k{e}^{-\lambda }}{k!}$

几何分布
设$X$是一个无穷次伯努利试验序列中事件$A$首次发生时所需要的试验次数,显然$X$是一个离散型随机变量,且可能的值为$1,2,\dots$由试验的独立性可知$X$的分布列为$P(X=k)=(1-p{)}^{k-1}p,k=1,2\dots$由于式中每一项都是一个几何级数中的一项,故称为随机变量$X$服从几何分布

设$X$服从参数为$p$的几何分布,则$P(X>s+t|X>s)=P(X>t)$其中$s,t$是任意非负整数
证:由几何分布的概率分布得到:$P(X>t)=P(X=t+1)+P(X=t+2)+\cdots =p(1-p{)}^t+p(1-p{)}^{t+1}+\cdots =(1-p{)}^t$,因此
$P(X>s+t|X>s)=\frac{P(X>s+t,X>s)}{P(X>s)}=\frac{P(X>s+t)}{P(X>s)}=\frac{(1-p{)}^{s+t}}{(1-p{)}^s}=(1-p{)}^t=P(X>t)$这个例子反映了几何分布无记忆性

帕斯卡分布
帕斯卡分布可用来描述在进行一系列独立的伯努利试验过程中要求得到r次成功时所需"等待时间"的分布,令随机变量$X$表示第$r$次成功发生在第$k$次试验,则其概率分布列为$P(X=k)=C_{k-1}^{r-1}{p}^r(1-p{)}^{k-r},k=r,r+1,\cdots ,0<p<1$

连续型随机变量

• 设$f(x)$是定义在整个实数轴上的一个函数,如果它满足:
  (1)$f(x)\ge 0$(非负);
  (2)${\int }_{-\infty }^{\infty }f(x)\mathrm{d}\mathrm{x}=1$($f(x)$与横轴所夹面积为1);
  则称$f(x)$为概率密度函数,或密度函数

任何满足$-\infty \le a<b\le \infty$的实数$a,b$,假设密度函数$f(x)$与随机变量$X$有如下关系:
$P(a\le X\le b)={\int }_a^{b}f(x)\mathrm{d}\mathrm{x}$则称$X$是连续型随机变量,称$f(x)$是$X$的概率密度函数,记为$X$~$f(x)$,读作"$X$服从密度$f(x)$"
由分布函数的定义,连续型随机变量$X$的分布函数$F(x)$可以用其密度函数$f(x)$表示出来,即对任意实数$x$,$F(x)=P(X\le x)={\int }_{-\infty }^{x}f(t)\mathrm{d}\mathrm{t}$该积分总是存在,显然:$F^{{}^{\prime }}(x)=[P(X\le x){]}^{{}^{\prime }}=[{\int }_{-\infty }^{x}f(t)\mathrm{d}\mathrm{t}{]}^{{}^{\prime }}=f(x)$

连续型随机变量$X$的分布函数$F(x)$有如下基本性质:
(1)连续型随机变量$X$的分布函数$F(x)$是$(-\infty ,+\infty )$上的连续函数.
证:任取$x\in (-\infty ,+\infty )$,$\Delta x$表示一个增量,分布函数$F(x)$的增量为:$\Delta F(x)=F(x+\Delta x)-F(x)={\int }_x^{x+\Delta x}f(t)\mathrm{d}\mathrm{t}$,当$\Delta x\to 0$时,上式右端的积分趋于0,所以$\Delta F\to 0$,所以$F(x)$在点x处连续
(2)连续型随机变量$X$仅取一点的概率为0，即$P(X=a)=0$,于是$P(a<X\le b)=P(a\le X\le b)$
证:$P(X=a)\le P(X\in (a-\epsilon ,a])={\int }_{a-\epsilon }^{a}f(x)\mathrm{d}\mathrm{x}\to 0,\epsilon \to 0$

均匀分布
对$a<b$,如果$X$的密度是

$f(x)=\{\begin{array}{l}\frac{1}{b-a},x\in (a,b)\\ 0,x\notin (a,b)\end{array}$
就称$X$服从区间$(a,b)$上的均匀分布,记作$X$~$U(a,b)$
相应的分布函数为:
$F_X(x)=\{\begin{array}{l}0,x\le a\\ \frac{x-a}{b-1},a<x<b\\ 1,x\ge b\end{array}$

指数分布
对正常数$\lambda$,如果$X$的密度是:

$f(x)=\{\begin{array}{l}\lambda e^{-\lambda x},x\ge 0\\ 0,x<0\end{array}$
就称$X$服从参数$\lambda$的指数分布,记作$X$~$Exp(\lambda )$
相应的分布函数为:
$F_X(x)=\{\begin{array}{l}0,x<0\\ 1-e^{-\lambda x},x\ge 0\end{array}$

定理:设$X$服从参数$\lambda$的指数分布,则对任何$s,t\ge 0$,有
$P(X>s+t|X>s)=P(X>t)$
证:设$X$~$Exp(\lambda )$,因为
$P(X>x)={\int }_x^{\infty }\lambda e^{-\lambda x}\mathrm{d}\mathrm{s}=e^{-\lambda x}$,则
$P(X>s+t|X>s)=\frac{P(X>s+t)}{P(X>s)}=\frac{e^{-\lambda (s+t)}}{e^{-\lambda s}}=e^{-\lambda t}=P(X>t)$
指数分布也具有无记忆性.

正态分布
设$\mu$是常数,$\sigma$是正常数,如果$X$的密度是

$f(x)=\frac{1}{\sqrt{2\pi }\sigma }exp(-\frac{(x-\mu {)}^2}{2{\sigma }^2}),x\in R$
就称$X$服从参数为$(\mu ,{\sigma }^2)$的正态分布,
另外,当$\mu =0,{\sigma }^2=1,X$~$N(0,1)$时,称$X$服从标准正态分布,标准正态分布的密度函数有特殊地位,所以用一个特定的符号$\phi$表示:$\phi (x)=\frac{1}{\sqrt{2\pi }}exp(-\frac{x^2}{2}),x\in R$
正态密度函数有如下简单性质:(1)$f(x)$关于$x=\mu$对称;(2)$f(\mu )=\frac{1}{\sqrt{2\pi {\sigma }^2}}$是最大值,

伽马分布

随机变量函数的分布

离散型随机变量函数的分布
例:设随机变量$X$的分布列如下表

X	-1	0	1	2
P	0.2	0.3	0.1	0.4

求(1)$Y=2X+1$的分布列;(2)$Z=(X-1{)}^2$的分布列

解:(1)$Y$所有的可能取值为-1,1,3,5,有:
P { Y = − 1 } = P { X = − 1 } = 0.2 , P { Y = 1 } = P { X = 0 } = 0.3 , P { Y = 3 } = P { X = 1 } = 0.1 , P { Y = 5 } = P { X = 2 } = 0.4 P\lbrace Y=-1 \rbrace=P\lbrace X=-1 \rbrace=0.2,P\lbrace Y=1 \rbrace=P\lbrace X=0 \rbrace=0.3,P\lbrace Y=3 \rbrace=P\lbrace X=1 \rbrace=0.1,P\lbrace Y=5 \rbrace=P\lbrace X=2 \rbrace=0.4 P{Y=−1}=P{X=−1}=0.2,P{Y=1}=P{X=0}=0.3,P{Y=3}=P{X=1}=0.1,P{Y=5}=P{X=2}=0.4

Y	-1	1	3	5
P	0.2	0.3	0.1	0.4

(2)$Z$的所有可能取值为0,1,4,有:
P { Z = 0 } = P { X = 1 } = 0.1 , P { Z = 1 } = P { X = 0 } + P { X = 2 } = 0.3 + 0.4 = 0.7 , P { Z = 4 } = P { X = − 1 } = 0.2 P\lbrace Z=0 \rbrace=P\lbrace X=1 \rbrace=0.1,P\lbrace Z=1 \rbrace=P\lbrace X=0 \rbrace+P\lbrace X=2 \rbrace=0.3+0.4=0.7,P\lbrace Z=4 \rbrace=P\lbrace X=-1 \rbrace=0.2 P{Z=0}=P{X=1}=0.1,P{Z=1}=P{X=0}+P{X=2}=0.3+0.4=0.7,P{Z=4}=P{X=−1}=0.2

Z	0	1	4
P	0.1	0.7	0.2

连续型随机变量函数的分布
例:设$X$~$Exp(\lambda )$,$a>0$,求$Y=aX$的概率分布

解:由于$X$是连续随机变量,$Y=aX$也是连续随机变量,由$X$服从参数为$\lambda$的指数分布,其密度函数与分布函数分别是:

$f_X(x)=\{\begin{array}{l}0,x<0\\ \lambda e^{-\lambda x},x\ge 0\end{array}$,
$F_X(x)=\{\begin{array}{l}0,x<0\\ 1-e^{-\lambda x},x\ge 0\end{array}$
由于$a>0,X$不可能取负值则$Y$也不可能取负值,所以有:$F_Y(y)=P(Y\le y)=0$,当$y<0$
对$y\ge 0$有$F_Y(y)=P(Y\le y)=P(aX\le y)=P(X\le \frac{y}{a})=F_X(\frac{y}{a})=1-e^{-\lambda y/a}$,综上可得$y$的分布列:
$F_Y(y)=\{\begin{array}{l}0,y<0\\ 1-e^{-\lambda y/a},y\ge 0\end{array}$
这表明,当$X$ ~ $Exp(\lambda )$时,$Y=aX(a>0)$~$Exp(\lambda /a)$

例:设$X$~$U(0,1)$,求$Y=-lnX$的概率分布

解:由均匀分布的密度函数与分布函数知:

$f_X(x)=\{\begin{array}{l}1,0<x<1\\ 0,其他\end{array}$,
$F_X(x)=\{\begin{array}{l}0,x\le 0\\ x,0<x<1\\ 1,x\ge 1\end{array}$,因为$X$仅在$(0,1)$上取值,故$Y=-lnX$只可能在$(0,\infty )$上取值,有:
$F_Y(y)=P(Y\le y)=P(-lnX\le y)=P(lnX\ge -y)=P(X\ge e^{-y})=1-P(X<e^{-y})=1-F_X(e^{-y})$,综上Y的分布函数为
$F_Y(y)=\{\begin{array}{l}0,y\le 0\\ 1-e^{-y},y>0\end{array}$
对其求导:
$f_Y(y)=\{\begin{array}{l}0,y\le 0\\ e^{-y},y>0\end{array}$,可见X服从区间(0,1)上的均匀分布,$Y=-lnX$将服从$\lambda =1$的指数分布,即若$X$ ~ $U(0,1)$,则$Y=-lnX$~$Exp(1)$

定理:设已知随机变量$X$的分布函数为$F_X(x)$和密度函数为$f_X(x)$,又设$Y=g(X)$,其中函数$g(\cdot )$是严格单调函数,且导数$g^{{}^{\prime }}(x)$存在,则$Y$的密度函数为:$f_Y(y)=f_X(h(y))|h^{{}^{\prime }}(y)|$,其中$X=h(y)$是$y=g(x)$的反函数,$h^{{}^{\prime }}(y)$是其导数.
证:由于$Y=g(X)$是严格单调函数(严增函数或严减函数),故其反函数$X=h(y)$存在,由$g$可导从而$h$也可导.先设$g(x)$是$X$的严增函数,则有$F_Y(y)=P(Y\le y)=P(g(x)\le y)=P(X\le h(y))=F_X(h(y))$,$f_Y(y)=f_{X}h(y)\cdot h^{{}^{\prime }}(y)$,如果$g(X)$是严减函数,则事件"$g(X)\le y$“等价于”$X\ge h(y)$",所以有$F_Y(y)=P(Y\le y)=P(g(X)\le y)=P(X\ge h(y))=1-F_X(h(y))$,$f_Y(y)=-f_X(h(y))h^{{}^{\prime }}(y)$,因当$g$为严减函数时,其反函数$h$也是减函数,故$h^{{}^{\prime }}(y)<0$,所以定理得证.

例:设随机变量$X$的分布函数$F_X(x)$是严增函数,则$Y=F_X(x)$服从区间$(0,1)$上的均匀分布
首先,$Y=F_X(X)$是在区间$(0,1)$上取值的随机变量,所以当$y\le 0$时,$F_Y(y)=0$;当$y\ge 1$时,$F_Y(y)=1$,当$0<y<1$时,有$F_Y(y)=P(Y\le y)=P(F_X(X)\le y)=P(X\le F_X^{-1}(y))=F_X(F_X^{-1}(X))$的分布函数为:

$F_Y(y)=\{\begin{array}{l}0,y\le 0\\ y,0<y<1\\ 1,y\ge 1\end{array}$即在区间$(0,1)$上的均匀分布函数.

二维随机变量的相关分布

• 设$(X,Y)$是二维随机变量,$x,y$是两个任意实数,则称二元函数$F(x,y)=P(X\le x,Y\le y),\forall (x,y)\in R^2$为$(X,Y)$的联合分布函数,事件 { X ≤ x , Y ≤ y } \lbrace X \le x,Y \le y \rbrace {X≤x,Y≤y}表示事件 { X ≤ x } \lbrace X \le x \rbrace {X≤x}与事件 { Y ≤ y } \lbrace Y \le y \rbrace {Y≤y}的交.

定理:设$(X,Y)$是二维随机变量,$x,y$是两个任意实数,$F(x,y)$是$(X,Y)$的联合分布函数,则$F(x,y)$具有如下基本性质:
(1)$0\le F(x,y)\le 1,\forall (x,y)\in R^2;$
(2)$F(x,y)$对每个自变量都是单调非减的;
(3)对一切实数$x$和$y$,则有$F(-\infty ,y)=F(x,-\infty )=0,F(+\infty ,+\infty )=1$
(4)F(x,y)对于每个自变量都是右连续的;
(5)对一切实数$x_1<x_2,y_1<y_2$,则有$F(x_2,y_2)-F(x_1,y_2)-F(x_2,y_1)+F(x_1,y_1)\ge 0$

二维离散型随机变量

• 如果二元随机变量$(X,Y)$所有可能取的数对为有限或可列无限多个,并且以确定的概率取各个不同的数对,则称(X,Y)为二元离散型随机变量.

二维连续型随机变量

• 设二维随机变量$(X,Y)$的分布函数为$F(x,y)$.若存在一个定义在$R^2$上的非负可积函数$f(x,y)$,使得对任意的$x,y\in R^2$有$F(x,y)={\int }_{-\infty }^x{\int }_{-\infty }^{y}f(u,v)\mathrm{d}\mathrm{u}\mathrm{d}\mathrm{v}$则称$(X,Y)$是二维连续型随机变量,函数$f(x,y)$称为$(X,Y)$的概率密度函数或称为$X,Y$的联合概率密度.

$f(x,y)$有如下性质:
(1)对任意的$(x,y)\in R^2$,$f(x,y)\ge 0;$
(2)$F(x,y)={\int }_{-\infty }^{\infty }{\int }_{-\infty }^{\infty }f(x,y)\mathrm{d}\mathrm{x}\mathrm{d}\mathrm{y}=1;$
(3)若$F(x,y)$在$(x,y)$点连续,则:$\frac{{\partial }^{2}F(x,y)}{\partial x\partial y}=f(x,y)$
(4)设$D$为$R^2$上一个区域,则$P((X,Y)\in D)=\int {\int }_{D}f(x,y)\mathrm{d}\mathrm{x}\mathrm{d}\mathrm{y}$

随机变量间的独立性

• 设$n$维随机变量$(X_1,X_2,\cdots ,X_n)$的联合分布函数为$F(x_1,x_2,\cdots ,x_n)$,$F_i(x_i)$为$X_i$的边际分布函数.如果对任意$n$个实数$x_1,x_2,\cdots ,x_n$,有
  $F(x_1,x_2,\cdots ,x_n)={\Pi }_{i=1}^n{F}_i(x_i)$,则称$X_1,X_2,\cdots ,X_n$相互独立.
  

在离散随机变量场合,如果对其任意$n$个取值$x_1,x_2,\cdots ,x_n$,有
$P(X_1=x_1,X_2=x_2,\cdots ,X_n=x_n)={\Pi }_{i=1}^{n}P(X_i=x_i)$
则称$X_1,X_2,\cdots ,X_n$相互独立.

在连续随机变量场合,如果对任意$n$个实数$x_1,x_2,\cdots ,x_n$,有
$p(x_1,x_2,\cdots ,x_n)={\Pi }_{i=1}^n{p}_i(x_i)$,
则称$X_1,X_2,\cdots ,X_n$相互独立.

连续场合的卷积公式

定理:设$X$与$Y$是两个相互独立的连续随机变量,其密度函数分别为$p_X(x)$和$p_Y(y)$,则其和$Z=X+Y$的密度函数为
$p_z(z)={\int }_{-\infty }^{+\infty }{p}_X(z-y)p_Y(y)\mathrm{d}\mathrm{y}$
证明 $Z=X+Y$的分布函数为
$F_Z(z)=P(X+Y\le z)=\int {\int }_{x+y\le z}{p}_X(x)p_Y(y)\mathrm{d}\mathrm{x}\mathrm{d}\mathrm{y}$
∫ − ∞ + ∞ { ∫ − ∞ x − y p X ( x ) d x } p Y ( y ) d y = ∫ − ∞ + ∞ F X ( z − y ) p Y ( y ) d y \int_{-\infty}^{+\infty}\lbrace \int_{-\infty}^{x-y}p_X(x)\mathrm{dx} \rbrace p_Y(y) \mathrm{dy}=\int_{-\infty}^{+\infty}F_X(z-y)p_Y(y)\mathrm{dy} ∫−∞+∞​{∫−∞x−y​pX​(x)dx}pY​(y)dy=∫−∞+∞​FX​(z−y)pY​(y)dy,其中$F_X(x)$为$X$的分布函数,对上式两端求导，可得$Z$的密度函数为
$p_Z(z)={\int }_{-\infty }^{+\infty }{p}_X(z-y)p_Y(y)\mathrm{d}\mathrm{y}$
这就是连续场合下的卷积公式.