第三章 概率统计
全文均为手敲,如果发现有误,请于评论区交流讨论留言,作者会及时修改
3.1 概率与分布
-
事件及其运算
和事件: A + B = A ∪ B A+B=A\cup B A+B=A∪B
积事件: A B = A ∩ B AB=A\cap B AB=A∩B
差事件: A − B = A ∩ B ‾ A-B=A\cap\overline{B} A−B=A∩B
-
事件的概率及其运算
A A A与 B B B对立( B = A ‾ B=\overline{A} B=A): P ( A + B ) = P ( A ) + P ( B ) = 1 , P ( A B ) = 0 P(A+B)=P(A)+P(B)=1,P(AB)=0 P(A+B)=P(A)+P(B)=1,P(AB)=0
A A A与 B B B互斥(互不相容): P ( A + B ) = P ( A ) + P ( B ) , P ( A B ) = 0 P(A+B)=P(A)+P(B),P(AB)=0 P(A+B)=P(A)+P(B),P(AB)=0
A A A与 B B B独立: P ( A ) = P ( A ∣ B ) = P ( A ∣ B ‾ ) , P ( A B ) = P ( A ) P ( B ) P(A)=P(A|B)=P(A|\overline{B}),P(AB)=P(A)P(B) P(A)=P(A∣B)=P(A∣B),P(AB)=P(A)P(B)
-
概率模型
古典概型、几何概型:强调概率相等性。
-
概率的加法公式(容斥原理)
两个事件: P ( A + B ) = P ( A ) + P ( B ) − P ( A B ) P(A+B)=P(A)+P(B)-P(AB) P(A+B)=P(A)+P(B)−P(AB)
三个事件: P ( A + B + C ) = P ( A ) + P ( B ) + P ( C ) − P ( A B ) − P ( B C ) − P ( C A ) + P ( A B C ) P(A+B+C)=P(A)+P(B)+P(C)-P(AB)-P(BC)-P(CA)+P(ABC) P(A+B+C)=P(A)+P(B)+P(C)−P(AB)−P(BC)−P(CA)+P(ABC)
-
条件概率
若事件 B B B的概率非零,则在 B B B发生的条件下, A A A发生的概率称为条件概率,记作
P ( A ∣ B ) = P ( A B ) P ( B ) P(A|B)=\frac{P(AB)}{P(B)} P(A∣B)=P(B)P(AB)
-
乘法公式
若 P ( B ) > 0 P(B)>0 P(B)>0,则 P ( A B ) = P ( B ) P ( A ∣ B ) P(AB)=P(B)P(A|B) P(AB)=P(B)P(A∣B)
若 P ( A 1 ⋯ A n − 1 ) > 0 P(A_1\cdots A_{n-1})>0 P(A1⋯An−1)>0,则 P ( A 1 ⋯ A n ) = P ( A 1 ) P ( A 2 ∣ A 1 ) ⋯ P ( A n ∣ A 1 ⋯ A n − 1 ) P(A_1\cdots A_n)=P(A_1)P(A_2|A_1)\cdots P(A_n|A_1\cdots A_{n-1}) P(A1⋯An)=P(A1)P(A2∣A1)⋯P(An∣A1⋯An−1)
-
全概率公式
若事件 B 1 , ⋯ , B n B_1,\cdots,B_n B1,⋯,Bn是样本空间或全事件集的一组划分,且 P ( B i ) > 0 P(B_i)>0 P(Bi)>0,则
P ( A ) = ∑ i = 1 n P ( A B i ) = ∑ i = 1 n P ( B i ) P ( A ∣ B i ) P(A)=\sum_{i=1}^nP(AB_i)=\sum_{i=1}^nP(B_i)P(A|B_i) P(A)=i=1∑nP(ABi)=i=1∑nP(Bi)P(A∣Bi)
特别地
P ( A ) = P ( B ) P ( A ∣ B ) + P ( B ‾ ) P ( A ∣ B ‾ ) P(A)=P(B)P(A|B)+P(\overline{B})P(A|\overline{B}) P(A)=P(B)P(A∣B)+P(B)P(A∣B)
-
贝叶斯公式
若事件 B 1 , ⋯ , B n B_1,\cdots,B_n B1,⋯,Bn是样本空间或全事件集的一组划分,且 P ( B i ) > 0 , P ( A ) > 0 P(B_i)>0,P(A)>0 P(Bi)>0,P(A)>0,则
P ( B i ∣ A ) = P ( A B i ) P ( A ) = P ( B i ) P ( A ∣ B i ) ∑ j = 1 n P ( B j ) P ( A ∣ B j ) P(B_i|A)=\frac{P(AB_i)}{P(A)}=\frac{P(B_i)P(A|B_i)}{\sum\limits_{j=1}^nP(B_j)P(A|B_j)} P(Bi∣A)=P(A)P(ABi)=j=1∑nP(Bj)P(A∣Bj)P(Bi)P(A∣Bi)
更在意后验概率、关注前提条件的思维模式
-
随机变量的分布函数
给定随机变量 X X X,对任意实数 x x x,定义随机变量 X X X的分布函数为: F ( x ) = P ( X ≤ x ) F(x)=P(X\le x) F(x)=P(X≤x)
分布函数的基本性质:
( 1 ) (1) (1)单调不减, F ( x + t ) ≥ F ( x ) , ∀ t > 0 F(x+t)\ge F(x),\forall t>0 F(x+t)≥F(x),∀t>0
( 2 ) (2) (2)有界, 0 ≤ F ( x ) ≤ 1 , F ( − ∞ ) = 0 , F ( + ∞ ) = 1 0\le F(x)\le1,F(-\infty)=0,F(+\infty)=1 0≤F(x)≤1,F(−∞)=0,F(+∞)=1
( 3 ) (3) (3)右连续, lim t → 0 + F ( x + t ) = F ( x ) \lim\limits_{t\to 0^+}F(x+t)=F(x) t→0+limF(x+t)=F(x)
( 4 ) P ( a < x ≤ b ) = F ( b ) − F ( a ) (4)P(a<x\le b)=F(b)-F(a) (4)P(a<x≤b)=F(b)−F(a)
-
离散随机变量的分布列(分布律)
设离散随机变量 X X X的可能取值为: x 1 , x 2 , ⋯ , x n , ⋯ x_1,x_2,\cdots,x_n,\cdots x1,x2,⋯,xn,⋯,则称 p i = P ( X = x i ) , i = 1 , 2 , ⋯ p_i=P(X=x_i),i=1,2,\cdots pi=P(X=xi),i=1,2,⋯为 X X X的分布列
满足非负性 p i ≥ 0 p_i\ge0 pi≥0和正则性 ∑ p i = 1 \sum p_i=1 ∑pi=1(或称为概率的归一化条件)
-
连续随机变量的概率密度函数
设随机变量 X X X的分布函数为 F ( x ) F(x) F(x),若存在非负可积函数 p ( x ) p(x) p(x),使得 F ( x ) = ∫ − ∞ x p ( x ) d x F(x)=\int_{-\infty}^xp(x)dx F(x)=∫−∞xp(x)dx,则
称 X X X是连续随机变量,称 p ( x ) p(x) p(x)为概率密度函数,简称密度函数。
满足非负性 p ( x ) ≥ 0 p(x)\ge0 p(x)≥0和正则性 ∫ − ∞ + ∞ p ( x ) d x = 1 \int_{-\infty}^{+\infty}p(x)dx=1 ∫−∞+∞p(x)dx=1(或称为概率的归一化条件)
对于连续随机变量, P ( X = x ) = 0 P(X=x)=0 P(X=x)=0,其概率密度函数可以定义为
p ( x ) = { F ′ ( x ) , F 在 x 处可导 0 , F 在 x 处不可导 p(x)=\begin{cases}F'(x),&F在x处可导\\0,&F在x处不可导\end{cases} p(x)={F′(x),0,F在x处可导F在x处不可导
特别地, F F F处的不可导点处的 p ( x ) p(x) p(x)也可以定义为其他有限值,因为不改变 p ( x ) p(x) p(x)的积分值
-
离散随机变量的数学期望
设离散随机变量 X X X的分布列为 P ( X = x n ) = p n , n = 1 , 2 , ⋯ P(X=x_n)=p_n,n=1,2,\cdots P(X=xn)=pn,n=1,2,⋯,若级数 ∑ i = 1 ∞ x i p i \sum\limits_{i=1}^{\infty}x_ip_i i=1∑∞xipi绝对收敛,则称该级数为 X X X的数学期望,记为
E ( X ) = ∑ i = 1 ∞ x i p i E(X)=\sum\limits_{i=1}^{\infty}x_ip_i E(X)=i=1∑∞xipi
-
连续变量的数学期望
设连续随机变量 X X X的密度函数为 p ( x ) p(x) p(x),若积分 ∫ − ∞ + ∞ x p ( x ) d x \int_{-\infty}^{+\infty}xp(x)dx ∫−∞+∞xp(x)dx绝对收敛,则称该积分为 X X X的数学期望,记为
E ( X ) = ∫ − ∞ + ∞ x p ( x ) d x E(X)=\int_{-\infty}^{+\infty}xp(x)dx E(X)=∫−∞+∞xp(x)dx
-
随机变量函数的期望
设 Y = g ( X ) Y=g(X) Y=g(X)是随机变量 X X X的函数,若 E ( g ( X ) ) E(g(X)) E(g(X))存在,则
E ( g ( X ) ) = ∑ i = 1 ∞ g ( x i ) P ( X = x i ) 或者 E ( g ( X ) ) = ∫ − ∞ + ∞ g ( x ) p ( x ) d x E(g(X))=\sum_{i=1}^\infty g(x_i)P(X=x_i)或者E(g(X))=\int_{-\infty}^{+\infty}g(x)p(x)dx E(g(X))=i=1∑∞g(xi)P(X=xi)或者E(g(X))=∫−∞+∞g(x)p(x)dx
-
数学期望的性质
( 1 ) E ( c ) = c ( 2 ) E ( a X ) = a E ( X ) ( 3 ) E ( g 1 ( X ) + g 2 ( X ) ) = E ( g 1 ( X ) ) + E ( g 2 ( X ) ) \begin{aligned} (1)&E(c)=c\\ (2)&E(aX)=aE(X)\\ (3)&E(g_1(X)+g_2(X))=E(g_1(X))+E(g_2(X)) \end{aligned} (1)(2)(3)E(c)=cE(aX)=aE(X)E(g1(X)+g2(X))=E(g1(X))+E(g2(X))
第三条性质意味着——独立性不影响随机变量和的期望展开计算
-
随机变量的方差
给定随机变量 X X X,若 E ( X − E ( X ) ) 2 E(X-E(X))^2 E(X−E(X))2存在,则称 E ( X − E ( X ) ) 2 E(X-E(X))^2 E(X−E(X))2为 X X X的方差,记为
V a r ( X ) = D ( X ) = E ( X − E ( X ) ) 2 Var(X)=D(X)=E(X-E(X))^2 Var(X)=D(X)=E(X−E(X))2
方差具有如下性质
( 1 ) V a r ( X ) = E ( X 2 ) − [ E ( X ) ] 2 ( 2 ) V a r ( c ) = 0 ( 3 ) V a r ( a X + b ) = a 2 V a r ( X ) \begin{aligned} (1)&Var(X)=E(X^2)-[E(X)]^2\\ (2)&Var(c)=0\\ (3)&Var(aX+b)=a^2Var(X) \end{aligned} (1)(2)(3)Var(X)=E(X2)−[E(X)]2Var(c)=0Var(aX+b)=a2Var(X)
-
随机变量的标准化
设 V a r ( X ) > 0 Var(X)>0 Var(X)>0,令
Y = X − E X V a r ( X ) Y=\frac{X-EX}{\sqrt{Var(X)}} Y=Var(X)X−EX
则有 E ( Y ) = 0 , V a r ( Y ) = 1 E(Y)=0,Var(Y)=1 E(Y)=0,Var(Y)=1,称 Y Y Y为 X X X的标准化。
-
二项分布
n n n重伯努利试验中成功的次数记作 X X X,则 X X X满足分布律:
P ( X = k ) = ( n k ) p k ( 1 − p ) n − k , k = 0 , 1 , ⋯ , n P(X=k)=\begin{pmatrix}n\\k\end{pmatrix}p^k(1-p)^{n-k},k=0,1,\cdots,n P(X=k)=(nk)pk(1−p)n−k,k=0,1,⋯,n
记作 X ∼ B ( n , p ) X\sim B(n,p) X∼B(n,p),其期望和方差分别为: E ( X ) = n p , V a r ( X ) = n p ( 1 − p ) E(X)=np,Var(X)=np(1-p) E(X)=np,Var(X)=np(1−p)
-
泊松分布
若随机变量 X X X的分布律满足:
P ( X = k ) = λ k k ! e − λ , k = 0 , 1 , 2 , ⋯ P(X=k)=\frac{\lambda^k}{k!}e^{-\lambda},k=0,1,2,\cdots P(X=k)=k!λke−λ,k=0,1,2,⋯
则称 X X X服从参数为 λ \lambda λ的泊松分布,记为 X ∼ P ( λ ) X\sim P(\lambda) X∼P(λ),其期望和方差分别为: E ( X ) = λ , V a r ( X ) = λ E(X)=\lambda,Var(X)=\lambda E(X)=λ,Var(X)=λ
-
超几何分布
N N N个产品中有 M M M个不合格品,从中抽取 n n n个,不合格品的个数为 X X X,则 X X X满足分布律:
P ( X = k ) = ( M k ) ( N − M n − k ) ( N n ) P(X=k)=\frac{\begin{pmatrix}M\\k\end{pmatrix}\begin{pmatrix}N-M\\n-k\end{pmatrix}}{\begin{pmatrix}N\\n\end{pmatrix}} P(X=k)=(Nn)(Mk)(N−Mn−k)
记作 X ∼ h ( n , N , M ) X\sim h(n,N,M) X∼h(n,N,M)
-
几何分布
若随机变量 X X X为独立重复伯努利试验中首次成功时的试验次数,则 X X X满足分布律:
P ( X = k ) = ( 1 − p ) k − 1 p , k = 1 , 2 , ⋯ P(X=k)=(1-p)^{k-1}p,k=1,2,\cdots P(X=k)=(1−p)k−1p,k=1,2,⋯
记作 X ∼ G e ( p ) X\sim Ge(p) X∼Ge(p),其期望和方差分别为: E ( X ) = 1 / p , V a r ( X ) = ( 1 − p ) / p 2 E(X)=1/p,Var(X)=(1-p)/p^2 E(X)=1/p,Var(X)=(1−p)/p2
几何分布具有无记忆性,即
P ( X > m + n ∣ X > m ) = P ( X > n ) P(X>m+n|X>m)=P(X>n) P(X>m+n∣X>m)=P(X>n)
-
负二项分布
若随机变量 X X X为独立重复伯努利试验中第 r r r次成功时的试验次数,则 X X X满足分布律:
P ( X = k ) = ( k − 1 r − 1 ) ( 1 − p ) k − r p r , k = r , r + 1 , ⋯ P(X=k)=\begin{pmatrix}k-1\\r-1\end{pmatrix}(1-p)^{k-r}p^r,k=r,r+1,\cdots P(X=k)=(k−1r−1)(1−p)k−rpr,k=r,r+1,⋯
记为 X ∼ N b ( r , p ) X\sim Nb(r,p) X∼Nb(r,p)
可以表示成 r r r个独立同分布几何分布随机变量之和
-
正态分布
若随机变量 X X X的概率密度函数为
p ( x ) = 1 2 π σ e x p { − ( x − μ ) 2 2 σ 2 } p(x)=\frac{1}{\sqrt{2\pi}\sigma}exp\{-\frac{(x-\mu)^2}{2\sigma^2}\} p(x)=2πσ1exp{−2σ2(x−μ)2}
记作 X ∼ N ( μ , σ 2 ) X\sim N(\mu,\sigma^2) X∼N(μ,σ2),其期望和方差分别为: E ( X ) = μ , V a r ( X ) = σ 2 E(X)=\mu,Var(X)=\sigma^2 E(X)=μ,Var(X)=σ2
-
标准正态分布
若 X ∼ N ( 0 , 1 ) X\sim N(0,1) X∼N(0,1),则称 X X X服从标准正态分布,其密度函数记为 φ ( x ) \varphi(x) φ(x),分布函数记为 Φ ( x ) \Phi(x) Φ(x)
标准正态分布函数满足: Φ ( 0 ) = 1 / 2 , Φ ( − x ) = 1 − Φ ( x ) \Phi(0)=1/2,\Phi(-x)=1-\Phi(x) Φ(0)=1/2,Φ(−x)=1−Φ(x)。
若 P ( X ≤ z α ) = Φ ( z α ) = α P(X\le z_\alpha)=\Phi(z_\alpha)=\alpha P(X≤zα)=Φ(zα)=α,则称 z α z_\alpha zα为标准正态分布的 α \alpha α分位点
-
一般正态分布的标准化
若 X ∼ N ( μ , σ 2 ) X\sim N(\mu,\sigma^2) X∼N(μ,σ2),则
X − μ σ ∼ N ( 0 , 1 ) , F ( x ) = Φ ( x − μ σ ) \frac{X-\mu}\sigma\sim N(0,1),F(x)=\Phi(\frac{x-\mu}\sigma) σX−μ∼N(0,1),F(x)=Φ(σx−μ)
-
均匀分布
若随机变量的概率密度函数满足
p ( x ) = { 1 / ( b − a ) , a < x < b 0 , o t h e r w i s e p(x)=\begin{cases}1/(b-a),&a<x<b\\0,&otherwise\end{cases} p(x)={1/(b−a),0,a<x<botherwise
则称 X X X服从均匀分布,记作 X ∼ U ( a , b ) X\sim U(a,b) X∼U(a,b)
其期望和方差分别为 E ( X ) = ( a + b ) / 2 , V a r ( X ) = ( b − a ) 2 / 12 E(X)=(a+b)/2,Var(X)={(b-a)^2}/{12} E(X)=(a+b)/2,Var(X)=(b−a)2/12
-
指数分布
若随机变量的概率密度函数满足
p ( x ) = { λ e − λ x , x > 0 0 , x ≤ 0 p(x)=\begin{cases}\lambda e^{-\lambda x},&x>0\\0,&x\le 0\end{cases} p(x)={λe−λx,0,x>0x≤0
则称 X X X服从指数分布,记作 X ∼ E x p ( λ ) , λ > 0 X\sim Exp(\lambda),\lambda>0 X∼Exp(λ),λ>0
其期望和方差分别为: E ( X ) = 1 / λ , V a r ( X ) = 1 / λ 2 E(X)=1/\lambda,Var(X)=1/{\lambda^2} E(X)=1/λ,Var(X)=1/λ2
-
Γ \Gamma Γ分布
若随机变量的概率密度函数满足
p ( x ) = λ α Γ ( α ) x α − 1 e − λ x , x ≥ 0 p(x)=\frac{\lambda^\alpha}{\Gamma(\alpha)}x^{\alpha-1}e^{-\lambda x},x\ge0 p(x)=Γ(α)λαxα−1e−λx,x≥0
则称 X X X服从 Γ \Gamma Γ分布,记作 X ∼ G a ( α , λ ) , α > 0 , λ > 0 X\sim Ga(\alpha,\lambda),\alpha>0,\lambda>0 X∼Ga(α,λ),α>0,λ>0
其期望为 E ( X ) = α / λ E(X)=\alpha/\lambda E(X)=α/λ
称 Γ ( α ) = ∫ 0 + ∞ x α − 1 e − x d x \Gamma(\alpha)=\int_0^{+\infty}x^{\alpha-1}e^{-x}dx Γ(α)=∫0+∞xα−1e−xdx为 Γ \Gamma Γ函数
一些性质
( 1 ) Γ ( 1 ) = 1 , Γ ( 1 2 ) = π , Γ ( n + 1 ) = n ! ( 2 ) G a ( 1 , λ ) = E x p ( λ ) , G a ( n 2 , 1 2 ) = χ 2 ( n ) ( 3 ) X ∼ G a ( α , λ ) ⇒ k X ∼ G a ( α , λ / k ) ( k > 0 ) \begin{aligned} &(1)\Gamma(1)=1,\Gamma(\frac 12)=\sqrt\pi,\Gamma(n+1)=n!\\ &(2)Ga(1,\lambda)=Exp(\lambda),Ga(\frac n2,\frac 12)=\chi^2(n)\\ &(3)X\sim Ga(\alpha,\lambda)\Rightarrow kX\sim Ga(\alpha,\lambda/k)(k>0) \end{aligned} (1)Γ(1)=1,Γ(21)=π,Γ(n+1)=n!(2)Ga(1,λ)=Exp(λ),Ga(2n,21)=χ2(n)(3)X∼Ga(α,λ)⇒kX∼Ga(α,λ/k)(k>0)
-
B e t a Beta Beta分布
若随机变量的概率密度函数满足
p ( x ) = 1 B ( a , b ) x a − 1 ( 1 − x ) b − 1 , 0 < x < 1 p(x)=\frac{1}{B(a,b)}x^{a-1}(1-x)^{b-1},0<x<1 p(x)=B(a,b)1xa−1(1−x)b−1,0<x<1
则称 X X X服从 B e t a Beta Beta分布,记作 X ∼ B e ( a , b ) , a > 0 , b > 0 X\sim Be(a,b),a>0,b>0 X∼Be(a,b),a>0,b>0
其期望为 E ( X ) = a / ( a + b ) E(X)=a/(a+b) E(X)=a/(a+b)
称 B ( a , b ) = ∫ 0 1 x a − 1 ( 1 − x ) b − 1 d x B(a,b)=\int_0^1x^{a-1}(1-x)^{b-1}dx B(a,b)=∫01xa−1(1−x)b−1dx为 B e t a Beta Beta函数
一些性质
( 1 ) B ( a , b ) = B ( b , a ) ( 2 ) B ( a , b ) = Γ ( a ) Γ ( b ) Γ ( a + b ) ( 3 ) B e ( 1 , 1 ) = U ( 0 , 1 ) \begin{aligned} (1)&B(a,b)=B(b,a)\\ (2)&B(a,b)=\frac{\Gamma(a)\Gamma(b)}{\Gamma(a+b)}\\ (3)&Be(1,1)=U(0,1) \end{aligned} (1)(2)(3)B(a,b)=B(b,a)B(a,b)=Γ(a+b)Γ(a)Γ(b)Be(1,1)=U(0,1)
-
离散随机变量函数的分布
当 X X X为离散随机变量时, Y = g ( X ) Y=g(X) Y=g(X)为离散随机变量
将 g ( x i ) g(x_i) g(xi)一一列出,再将相等的值合并即可
-
连续随机变量函数的分布
设 X X X的概率密度函数为 p X ( x ) p_X(x) pX(x), y = g ( x ) y=g(x) y=g(x)是 x x x的严格单调函数,且值域为 ( a , b ) (a,b) (a,b),则 y = g ( x ) y=g(x) y=g(x)存在反函数 x = h ( y ) x=h(y) x=h(y),且 h ( y ) h(y) h(y)连续可导,则 Y = g ( X ) Y=g(X) Y=g(X)的密度函数为
p Y ( y ) = { p X ( h ( y ) ) ∣ h ′ ( y ) ∣ , a < y < b 0 , o t h e r w i s e p_Y(y)=\begin{cases}p_X(h(y))|h'(y)|,&a<y<b\\0,&otherwise\end{cases} pY(y)={pX(h(y))∣h′(y)∣,0,a<y<botherwise
-
正态变量的线性不变性
设 X ∼ N ( μ , σ 2 ) , a ≠ 0 X\sim N(\mu,\sigma^2),a\ne0 X∼N(μ,σ2),a=0,则 a X + b ∼ N ( a μ + b , a 2 σ 2 ) aX+b\sim N(a\mu+b,a^2\sigma^2) aX+b∼N(aμ+b,a2σ2)
-
各种分布随机数的产生
若随机变量 X X X的分布函数为 F X ( x ) F_X(x) FX(x),若 F X ( x ) F_X(x) FX(x)连续且严格单调递增,则 Y = F X ( x ) ∼ U ( 0 , 1 ) Y=F_X(x)\sim U(0,1) Y=FX(x)∼U(0,1)
-
k k k阶原点矩和中心距
k k k阶原点矩: μ k = E ( X k ) \mu_k=E(X^k) μk=E(Xk)
k k k阶中心矩: v k = E [ X − E ( X ) ] k v_k=E[X-E(X)]^k vk=E[X−E(X)]k
-
变异系数
称 C V = V a r X / E ( X ) C_V=\sqrt{Var{X}}/E(X) CV=VarX/E(X)为 X X X的变异系数
-
偏度系数
设随机变量 X X X的前三阶矩存在,则比值
β S = v 3 v 2 3 2 = E ( X − E X ) 3 [ V a r ( X ) ] 3 2 \beta_S=\frac{v_3}{v_2^{\frac 32}}=\frac{E(X-EX)^3}{[Var(X)]^{\frac 32}} βS=v223v3=[Var(X)]23E(X−EX)3
-
峰度系数
设随机变量 X X X的前四阶矩存在,则比值
β k = v 4 v 2 2 − 3 = E ( X − E X ) 4 [ V a r ( X ) ] 2 − 3 \beta_k=\frac{v_4}{v_2^2}-3=\frac{E(X-EX)^4}{[Var(X)]^2}-3 βk=v22v4−3=[Var(X)]2E(X−EX)4−3
-
二维随机变量的联合分布
给定随机变量 X X X和 Y Y Y,对任意实数 x x x和 y y y,称 F ( x , y ) = P ( X ≤ x , Y ≤ y ) F(x,y)=P(X\le x,Y\le y) F(x,y)=P(X≤x,Y≤y)为 ( X , Y ) (X,Y) (X,Y)的联合分布函数
联合分布函数的性质
( 1 ) F ( x , y ) 关于 x 和 y 分别单调不减 ( 2 ) 0 ≤ F ( x , y ) ≤ 1 , F ( − ∞ , y ) = F ( x , − ∞ ) = 0 , F ( + ∞ , + ∞ ) = 1 ( 3 ) F ( x , y ) 关于 x 和 y 分别右连续 ( 4 ) P ( a < X ≤ b , c < Y ≤ d ) = F ( b , d ) − D ( b , c ) − F ( a , d ) + F ( a , c ) ≥ 0 \begin{aligned} (1)&F(x,y)关于x和y分别单调不减\\ (2)&0\le F(x,y)\le 1,F(-\infty,y)=F(x,-\infty)=0,F(+\infty,+\infty)=1\\ (3)&F(x,y)关于x和y分别右连续\\ (4)&P(a<X\le b,c<Y\le d)=F(b,d)-D(b,c)-F(a,d)+F(a,c)\ge 0 \end{aligned} (1)(2)(3)(4)F(x,y)关于x和y分别单调不减0≤F(x,y)≤1,F(−∞,y)=F(x,−∞)=0,F(+∞,+∞)=1F(x,y)关于x和y分别右连续P(a<X≤b,c<Y≤d)=F(b,d)−D(b,c)−F(a,d)+F(a,c)≥0
-
二维离散随机变量
若 ( X , Y ) (X,Y) (X,Y)的可能取值为可列对,则称 ( X , Y ) (X,Y) (X,Y)为二维离散随机变量,其分布列(分布律)为:
p i j = P ( X = x i , Y = y j ) i , j = 1 , 2 , ⋯ p_{ij}=P(X=x_i,Y=y_j)\quad i,j=1,2,\cdots pij=P(X=xi,Y=yj)i,j=1,2,⋯
所有的 p i j p_{ij} pij满足非负性和归一化
-
二维连续随机变量
设二维随机变量 ( X , Y ) (X,Y) (X,Y)的分布函数为 F ( x , y ) F(x,y) F(x,y),若存在非负可积函数 p ( x , y ) p(x,y) p(x,y),使得
F ( x , y ) = ∫ − ∞ x ∫ − ∞ y p ( u , v ) d u d v F(x,y)=\int_{-\infty}^x\int_{-\infty}^yp(u,v)dudv F(x,y)=∫−∞x∫−∞yp(u,v)dudv
则称 ( X , Y ) (X,Y) (X,Y)为二维连续随机变量,称 p ( x , y ) p(x,y) p(x,y)为联合概率密度,满足非负性和归一化
特别地
P { ( X , Y ) ∈ D } = ∬ D p ( x , y ) d x d y P\{(X,Y)\in D\}=\iint\limits_Dp(x,y)dxdy P{(X,Y)∈D}=D∬p(x,y)dxdy
-
边缘分布函数(边际分布函数)
已知 ( X , Y ) (X,Y) (X,Y)的联合分布函数为 F ( x , y ) F(x,y) F(x,y),则
X X X的(边缘)分布函数为: F X ( x ) = F ( x , + ∞ ) F_X(x)=F(x,+\infty) FX(x)=F(x,+∞)
Y Y Y的(边缘)分布函数为: F Y ( y ) = F ( + ∞ , y ) F_Y(y)=F(+\infty,y) FY(y)=F(+∞,y)
-
边缘分布律(边际分布列)
已知 ( X , Y ) (X,Y) (X,Y)的联合分布律为 p i j = P ( X = x i , Y = y j ) p_{ij}=P(X=x_i,Y=y_j) pij=P(X=xi,Y=yj)
X X X的(边缘)分布律为: p i = P ( X = x i ) = ∑ j = 1 ∞ p i j = p i ⋅ p_i=P(X=x_i)=\sum\limits_{j=1}^\infty p_{ij}=p_{i\cdot} pi=P(X=xi)=j=1∑∞pij=pi⋅
Y Y Y的(边缘)分布律为: p j = P ( Y = y j ) = ∑ i = 1 ∞ p i j = p ⋅ j p_j=P(Y=y_j)=\sum\limits_{i=1}^\infty p_{ij}=p_{\cdot j} pj=P(Y=yj)=i=1∑∞pij=p⋅j
-
边缘密度函数(边际密度函数)
已知 ( X , Y ) (X,Y) (X,Y)的联合密度函数为 p ( x , y ) p(x,y) p(x,y),则
X X X的(边缘)密度函数为: p X ( x ) = ∫ − ∞ + ∞ p ( x , y ) d y p_X(x)=\int_{-\infty}^{+\infty}p(x,y)dy pX(x)=∫−∞+∞p(x,y)dy
Y Y Y的(边缘)密度函数为: p Y ( y ) = ∫ − ∞ + ∞ p ( x , y ) d x p_Y(y)=\int_{-\infty}^{+\infty}p(x,y)dx pY(y)=∫−∞+∞p(x,y)dx
-
随机变量的独立性
若随机变量 X X X和 Y Y Y满足以下之一
( 1 ) F ( x , y ) = F X ( x ) F Y ( y ) ( 2 ) p i j = p i p j ( 3 ) p ( x , y ) = p X ( x ) p Y ( y ) \begin{aligned} (1)&F(x,y)=F_X(x)F_Y(y)\\ (2)&p_{ij}=p_ip_j\\ (3)&p(x,y)=p_X(x)p_Y(y) \end{aligned} (1)(2)(3)F(x,y)=FX(x)FY(y)pij=pipjp(x,y)=pX(x)pY(y)
则称 X X X与 Y Y Y是独立的
X X X与 Y Y Y独立的本质应该回到概率的定义上:对任意实数 a , b , c , d a,b,c,d a,b,c,d有
P ( a < X < b , c < Y < d ) = P ( a < X < b ) P ( c < Y < d ) P(a<X<b,c<Y<d)=P(a<X<b)P(c<Y<d) P(a<X<b,c<Y<d)=P(a<X<b)P(c<Y<d)
若 X X X与 Y Y Y是独立的,则 g ( X ) g(X) g(X)与 h ( Y ) h(Y) h(Y)也是独立的
-
多维随机变量函数的分布
已知 ( X , Y ) (X,Y) (X,Y)的联合分布函数为 F ( x , y ) F(x,y) F(x,y),若 Z = max ( X , Y ) Z=\max(X,Y) Z=max(X,Y),则
F Z ( z ) = P ( max ( X , Y ) ≤ z ) = P ( X ≤ z 且 Y ≤ z ) = F ( z , z ) \begin{aligned} F_Z(z)&=P(\max(X,Y)\le z)\\ &=P(X\le z且Y\le z)\\ &=F(z,z) \end{aligned} FZ(z)=P(max(X,Y)≤z)=P(X≤z且Y≤z)=F(z,z)
若 Z = min ( X , Y ) Z=\min(X,Y) Z=min(X,Y),则
F Z ( z ) = P ( min ( X , Y ) ≤ z ) = P ( X ≤ z 或 Y ≤ z ) = 1 − P ( X > z , Y > z ) = F ( + ∞ , z ) + F ( z , + ∞ ) − F ( z , z ) \begin{aligned} F_Z(z)&=P(\min(X,Y)\le z)\\ &=P(X\le z或Y\le z)\\ &=1-P(X>z,Y>z)\\ &=F(+\infty,z)+F(z,+\infty)-F(z,z) \end{aligned} FZ(z)=P(min(X,Y)≤z)=P(X≤z或Y≤z)=1−P(X>z,Y>z)=F(+∞,z)+F(z,+∞)−F(z,z)
Z Z Z的概率密度为 p Z ( z ) = F Z ′ ( z ) p_Z(z)=F_Z'(z) pZ(z)=FZ′(z)
-
连续场合的卷积公式
设连续随机变量 X X X与 Y Y Y独立, 则 Z = X + Y Z=X+Y Z=X+Y的密度函数为
p Z ( z ) = ∫ − ∞ + ∞ p X ( x ) p Y ( z − x ) d x = ∫ − ∞ + ∞ p X ( z − y ) p Y ( y ) d y \begin{aligned}p_Z(z)&=\int_{-\infty}^{+\infty}p_X(x)p_Y(z-x)dx\\ &=\int_{-\infty}^{+\infty}p_X(z-y)p_Y(y)dy \end{aligned} pZ(z)=∫−∞+∞pX(x)pY(z−x)dx=∫−∞+∞pX(z−y)pY(y)dy
-
离散场合的卷积公式
设离散随机变量 X X X与 Y Y Y独立, 则 Z = X + Y Z=X+Y Z=X+Y的分布列为
P ( Z = z l ) = ∑ i = 1 ∞ P ( X = x i ) P ( Y = z l − x i ) = ∑ j = 1 ∞ P ( X = z l − y j ) P ( Y = y j ) \begin{aligned} P(Z=z_l)&=\sum_{i=1}^\infty P(X=x_i)P(Y=z_l-x_i)\\ &=\sum_{j=1}^\infty P(X=z_l-y_j)P(Y=y_j) \end{aligned} P(Z=zl)=i=1∑∞P(X=xi)P(Y=zl−xi)=j=1∑∞P(X=zl−yj)P(Y=yj)
-
二项分布的可加性
若 X ∼ B ( n 1 , p ) , Y ∼ B ( n 2 , p ) X\sim B(n_1,p),Y\sim B(n_2,p) X∼B(n1,p),Y∼B(n2,p),且独立,则 Z = X + Y ∼ B ( n 1 + n 2 , p ) Z=X+Y\sim B(n_1+n_2,p) Z=X+Y∼B(n1+n2,p)
-
泊松分布的可加性
若 X ∼ P ( λ 1 ) , Y ∼ P ( λ 2 ) X\sim P(\lambda_1),Y\sim P(\lambda_2) X∼P(λ1),Y∼P(λ2),且独立,则 Z = X + Y ∼ P ( λ 1 + λ 2 ) Z=X+Y\sim P(\lambda_1+\lambda_2) Z=X+Y∼P(λ1+λ2)
-
正态分布的可加性
若 X i ∼ N ( μ i , σ i 2 ) , i = 1 , 2 , ⋯ , n X_i\sim N(\mu_i,\sigma_i^2),i=1,2,\cdots,n Xi∼N(μi,σi2),i=1,2,⋯,n,且 X i X_i Xi间相互独立,实数 a 1 , ⋯ , a n a_1,\cdots,a_n a1,⋯,an不全为零,则
∑ i = 1 n a i X i + b i ∼ N ( ∑ i = 1 n a i μ i + b i , ∑ i = 1 n a i 2 σ i 2 ) \sum_{i=1}^na_iX_i+b_i\sim N(\sum_{i=1}^na_i\mu_i+b_i,\sum_{i=1}^na_i^2\sigma_i^2) i=1∑naiXi+bi∼N(i=1∑naiμi+bi,i=1∑nai2σi2)
-
Γ \Gamma Γ分布的可加性
若 X ∼ G a ( α 1 , λ ) , Y ∼ G a ( α 2 , λ ) X\sim Ga(\alpha_1,\lambda),Y\sim Ga(\alpha_2,\lambda) X∼Ga(α1,λ),Y∼Ga(α2,λ),且独立,则 Z = X + Y ∼ G a ( α 1 + α 2 , λ ) Z=X+Y\sim Ga(\alpha_1+\alpha_2,\lambda) Z=X+Y∼Ga(α1+α2,λ)
-
χ 2 \chi^2 χ2分布的可加性
若 X ∼ χ 2 ( n 1 ) , Y ∼ χ 2 ( n 2 ) X\sim \chi^2(n_1),Y\sim\chi^2(n_2) X∼χ2(n1),Y∼χ2(n2),且独立,则 Z = X + Y ∼ χ 2 ( n 1 + n 2 ) Z=X+Y\sim\chi^2(n_1+n_2) Z=X+Y∼χ2(n1+n2)
-
多维随机变量的数学期望
设 ( X , Y ) (X,Y) (X,Y)是二维随机变量, Z = g ( X , Y ) Z=g(X,Y) Z=g(X,Y),则
E ( Z ) = E [ g ( X , Y ) ] = ∑ i ∑ j g ( x i , y j ) p i j , ( X , Y ) 离散 或者 = ∫ − ∞ + ∞ ∫ − ∞ + ∞ g ( x , y ) p ( x , y ) d x d y , ( X , Y ) 连续 \begin{aligned}E(Z)=E[g(X,Y)]&= \sum_i\sum_jg(x_i,y_j)p_{ij},&(X,Y)离散\\ 或者&=\int_{-\infty}^{+\infty}\int_{-\infty}^{+\infty}g(x,y)p(x,y)dxdy,&(X,Y)连续 \end{aligned} E(Z)=E[g(X,Y)]或者=i∑j∑g(xi,yj)pij,=∫−∞+∞∫−∞+∞g(x,y)p(x,y)dxdy,(X,Y)离散(X,Y)连续
一些性质
( 1 ) E ( X + Y ) = E ( X ) + E ( Y ) ( 2 ) 若 X 与 Y 独立 , 则 E ( X Y ) = E ( X ) E ( Y ) \begin{aligned} (1)&E(X+Y)=E(X)+E(Y)\\ (2)&若X与Y独立,则E(XY)=E(X)E(Y) \end{aligned} (1)(2)E(X+Y)=E(X)+E(Y)若X与Y独立,则E(XY)=E(X)E(Y)
-
方差展开式
( 1 ) V a r ( X ± Y ) = V a r ( X ) + V a r ( Y ) ± 2 E [ X − E ( X ) ] [ Y − E ( Y ) ] ( 2 ) E [ X − E ( X ) ] [ Y − E ( Y ) ] = E ( X Y ) − E ( X ) E ( Y ) ( 3 ) 当 X 与 Y 独立时 , E [ X − E ( X ) ] [ Y − E ( Y ) ] = 0 ( 4 ) 当 X 与 Y 独立时 , V a r ( X ± Y ) = V a r ( X ) + V a r ( Y ) \begin{aligned} (1)&Var(X\pm Y)=Var(X)+Var(Y)\pm 2E[X-E(X)][Y-E(Y)]\\ (2)&E[X-E(X)][Y-E(Y)]=E(XY)-E(X)E(Y)\\ (3)&当X与Y独立时,E[X-E(X)][Y-E(Y)]=0\\ (4)&当X与Y独立时,Var(X\pm Y)=Var(X)+Var(Y) \end{aligned} (1)(2)(3)(4)Var(X±Y)=Var(X)+Var(Y)±2E[X−E(X)][Y−E(Y)]E[X−E(X)][Y−E(Y)]=E(XY)−E(X)E(Y)当X与Y独立时,E[X−E(X)][Y−E(Y)]=0当X与Y独立时,Var(X±Y)=Var(X)+Var(Y)
-
协方差与相关系数
定义 C o v ( X , Y ) = E [ X − E ( X ) ] [ Y − E ( Y ) ] Cov(X,Y)=E[X-E(X)][Y-E(Y)] Cov(X,Y)=E[X−E(X)][Y−E(Y)]为 X X X与 Y Y Y的协方差
一些其他性质
( 1 ) C o v ( X , Y ) = C o v ( Y , X ) ( 2 ) C o v ( X , a ) = 0 ( 3 ) C o v ( a X , b Y ) = a b C o v ( X , Y ) ( 4 ) C o v ( X + Y , Z ) = C o v ( X , Z ) + C o v ( Y , Z ) ( 5 ) C o v ( X , X ) = V a r ( X ) \begin{aligned} (1)&Cov(X,Y)=Cov(Y,X)\\ (2)&Cov(X,a)=0\\ (3)&Cov(aX,bY)=abCov(X,Y)\\ (4)&Cov(X+Y,Z)=Cov(X,Z)+Cov(Y,Z)\\ (5)&Cov(X,X)=Var(X) \end{aligned} (1)(2)(3)(4)(5)Cov(X,Y)=Cov(Y,X)Cov(X,a)=0Cov(aX,bY)=abCov(X,Y)Cov(X+Y,Z)=Cov(X,Z)+Cov(Y,Z)Cov(X,X)=Var(X)
定义以下这个式子为 X X X与 Y Y Y的相关系数:
C o r r ( X , Y ) = C o v ( X , Y ) V a r ( X ) V a r ( Y ) Corr(X,Y)=\frac{Cov(X,Y)}{\sqrt{Var(X)}\sqrt{Var(Y)}} Corr(X,Y)=Var(X)Var(Y)Cov(X,Y)
若 C o r r ( X , Y ) = 0 Corr(X,Y)=0 Corr(X,Y)=0,则称 X X X与 Y Y Y不相关
-
二维正态分布的特征数
若 ( X , Y ) ∼ N ( μ 1 , μ 2 , σ 1 2 , σ 2 2 , ρ ) (X,Y)\sim N(\mu_1,\mu_2,\sigma_1^2,\sigma_2^2,\rho) (X,Y)∼N(μ1,μ2,σ12,σ22,ρ),则
( 1 ) X ∼ N ( μ 1 , σ 1 2 ) , Y ∼ N ( μ 2 , σ 2 2 ) ( 2 ) 参数 ρ 为 X 与 Y 的相关系数 ( 3 ) X , Y 独立 ⇔ ρ = 0 ( 4 ) 不相关与独立等价 \begin{aligned} (1)&X\sim N(\mu_1,\sigma_1^2),Y\sim N(\mu_2,\sigma_2^2)\\ (2)&参数\rho为X与Y的相关系数\\ (3)&X,Y独立\Leftrightarrow\rho=0\\ (4)&不相关与独立等价 \end{aligned} (1)(2)(3)(4)X∼N(μ1,σ12),Y∼N(μ2,σ22)参数ρ为X与Y的相关系数X,Y独立⇔ρ=0不相关与独立等价
-
协方差矩阵
记 X = [ X 1 ⋯ X n ] T \boldsymbol{X}=\begin{bmatrix}X_1&\cdots&X_n\end{bmatrix}^T X=[X1⋯Xn]T,则 E X = [ E X 1 ⋯ E X n ] T E\boldsymbol{X}=\begin{bmatrix}EX_1&\cdots&EX_n\end{bmatrix}^T EX=[EX1⋯EXn]T,称
C o v ( X ) = [ C o v ( X 1 , X 1 ) ⋯ C o v ( X 1 , X n ) ⋮ ⋱ ⋮ C o v ( X n , X 1 ) ⋯ C o v ( X n , X n ) ] Cov(\boldsymbol{X})=\begin{bmatrix}Cov(X_1,X_1)&\cdots&Cov(X_1,X_n)\\ \vdots&\ddots&\vdots\\ Cov(X_n,X_1)&\cdots&Cov(X_n,X_n)\end{bmatrix} Cov(X)= Cov(X1,X1)⋮Cov(Xn,X1)⋯⋱⋯Cov(X1,Xn)⋮Cov(Xn,Xn)
为 X \boldsymbol{X} X的协方差矩阵,记为 C o v ( X ) Cov(\boldsymbol{X}) Cov(X),或 Σ \boldsymbol{\Sigma} Σ,是一个实对称半正定矩阵。
-
多元正态分布
设 n n n维随机变量 X \boldsymbol{X} X的协方差矩阵为 Σ = C o v ( X ) \boldsymbol{\Sigma}=Cov(\boldsymbol{X}) Σ=Cov(X),数学期望 E X = μ E\boldsymbol{X}=\boldsymbol{\mu} EX=μ,若 n n n维概率密度为
p ( x 1 , ⋯ , x n ) = p ( x ) = ( 2 π ) − n 2 ∣ Σ ∣ − 1 2 e x p { − 1 2 ( x − μ ) T Σ − 1 ( x − μ ) } p(x_1,\cdots,x_n)=p(\boldsymbol{x})=(2\pi)^{-\frac n2}|\boldsymbol{\Sigma}|^{-\frac 12}exp\{-\frac 12(\boldsymbol{x}-\boldsymbol{\mu})^T\boldsymbol{\Sigma}^{-1}(\boldsymbol{x}-\boldsymbol{\mu})\} p(x1,⋯,xn)=p(x)=(2π)−2n∣Σ∣−21exp{−21(x−μ)TΣ−1(x−μ)}
则称 X \boldsymbol{X} X满足 n n n元正态分布,记作 X ∼ N ( μ , Σ ) \boldsymbol{X}\sim N(\boldsymbol{\mu},\boldsymbol{\Sigma}) X∼N(μ,Σ)
-
相关矩阵
称 X \boldsymbol{X} X的相关矩阵为
R = [ ρ 11 ⋯ ρ 1 n ⋮ ⋱ ⋮ ρ n 1 ⋯ ρ n n ] R=\begin{bmatrix}\rho_{11}&\cdots&\rho_{1n}\\\vdots&\ddots&\vdots\\\rho_{n1}&\cdots&\rho_{nn}\end{bmatrix} R= ρ11⋮ρn1⋯⋱⋯ρ1n⋮ρnn
-
条件分布
条件分布列: p i ∣ j = P ( X = x i ∣ Y = − y j ) = p i j / p ⋅ j p_{i|j}=P(X=x_i|Y=-y_j)=p_{ij}/p_{\cdot j} pi∣j=P(X=xi∣Y=−yj)=pij/p⋅j
条件密度函数: p ( x ∣ y ) = p ( x , y ) / p ( y ) p(x|y)=p(x,y)/p(y) p(x∣y)=p(x,y)/p(y)
-
条件分布函数
F ( x ∣ y ) = P ( X ≤ x ∣ Y = y ) = ∑ x i ≤ x P ( X = x i ∣ Y = y ) X 离散 或者 = ∫ − ∞ x p ( t ∣ y ) d t X 连续 \begin{aligned} F(x|y)=P(X\le x|Y=y)&=\sum_{x_i\le x}P(X=x_i|Y=y)&X离散\\ 或者&=\int_{-\infty}^xp(t|y)dt&X连续 \end{aligned} F(x∣y)=P(X≤x∣Y=y)或者=xi≤x∑P(X=xi∣Y=y)=∫−∞xp(t∣y)dtX离散X连续
-
条件数学期望
E ( X ∣ Y = y ) = ∑ i x i P ( X = x i ∣ Y = y ) X 离散 或者 = ∫ − ∞ + ∞ x p ( x ∣ y ) d x X 连续 \begin{aligned} E(X|Y=y)&=\sum_ix_iP(X=x_i|Y=y)&X离散\\ 或者&=\int_{-\infty}^{+\infty}xp(x|y)dx&X连续 \end{aligned} E(X∣Y=y)或者=i∑xiP(X=xi∣Y=y)=∫−∞+∞xp(x∣y)dxX离散X连续
注意: E ( X ∣ Y = y ) E(X|Y=y) E(X∣Y=y)是 y y y的函数
-
重期望公式
E ( X ) = E ( E ( X ∣ Y ) ) E(X)=E(E(X|Y)) E(X)=E(E(X∣Y))