1.1 伯努利分布
举例:一次抛硬币结果
h
e
a
d
s
=
1
,
t
a
i
l
s
=
0
heads=1,tails=0
heads=1,tails=0:
p
(
x
=
1
∣
μ
)
=
μ
p(x=1|\mu)=\mu
p(x=1∣μ)=μ
由此可知抛硬币结果正反面存在一种分布,这种非0即1的单次实验被称为伯努利分布。也称为零一分布、两点分布。
伯努利分布:
B
e
r
n
(
x
∣
μ
)
=
μ
x
(
1
−
μ
)
1
−
x
Bern(x|\mu)=\mu^x(1-\mu)^{1-x}
Bern(x∣μ)=μx(1−μ)1−x
其中期望、方差为
E
[
μ
]
=
μ
,
V
a
r
[
x
]
=
μ
(
1
−
μ
)
E[\mu]=\mu,Var[x]=\mu(1-\mu)
E[μ]=μ,Var[x]=μ(1−μ)。
1.2 二项分布
举例:10次抛硬币,5次出现正面的概率?
二项分布是n个独立的是/非试验中成功的次数的离散概率分布。其实就是重复n次独立的伯努利试验。则这一系列试验总称为n重伯努利实验,当试验次数为1时,二项分布服从0-1分布也就是伯努利分布。
B
i
n
(
m
∣
N
,
μ
)
=
C
N
m
μ
m
(
1
−
μ
)
N
−
m
Bin(m|N,\mu)=C_N^m\mu^m(1-\mu)^{N-m}
Bin(m∣N,μ)=CNmμm(1−μ)N−m
m表示成功的次数,
μ
\mu
μ成功的概率。
期望、方差为
E
[
m
]
=
∑
m
=
0
N
B
i
n
(
m
∣
N
,
μ
)
=
N
μ
,
V
a
r
[
m
]
=
∑
m
=
0
N
(
m
−
E
[
m
]
)
2
B
i
n
(
m
∣
N
,
μ
)
=
N
μ
(
1
−
μ
)
E[m]=\sum_{m=0}^NBin(m|N,\mu)=N\mu,Var[m]=\sum_{m=0}^N(m-E[m])^2Bin(m|N,\mu)=N\mu(1-\mu)
E[m]=∑m=0NBin(m∣N,μ)=Nμ,Var[m]=∑m=0N(m−E[m])2Bin(m∣N,μ)=Nμ(1−μ)。
1.3 均匀分布
举例:每个一段时间有一辆车通过公交车站,乘客的候车时间就服从均匀分布。
在相同长度间隔的分布概率是等可能的。 均匀分布由两个参数a和b定义,它们是数轴上的最小值和最大值,通常缩写为
U
(
a
,
b
)
U(a,b)
U(a,b).
f
(
x
)
=
1
b
−
a
,
a
<
x
<
b
f(x)=\frac{1}{b-a},\quad a<x<b\quad
f(x)=b−a1,a<x<b
其中期望和方差分别为:
E
[
x
]
=
a
+
b
2
,
V
a
r
[
x
]
=
(
b
−
a
)
2
12
E[x]=\frac{a+b}{2},Var[x]=\frac{(b-a)^2}{12}
E[x]=2a+b,Var[x]=12(b−a)2.
1.4 泊松分布
举例:泊松分布适合于描述单位时间(或空间)内随机事件发生的次数。如某一服务设施在一定时间内到达的人数,电话交换机接到呼叫的次数,汽车站台的候客人数,机器出现的故障数,自然灾害发生的次数,一块产品上的缺陷数,显微镜下单位分区内的细菌分布数等等。
当二项分布的n很大而p很小时,泊松分布可作为二项分布的近似,其中
λ
λ
λ为
n
p
np
np。
P
(
x
;
λ
)
=
e
−
λ
λ
x
x
!
P(x;\lambda)=\frac{e^{-\lambda}\lambda^x}{x!}
P(x;λ)=x!e−λλx
其中
E
[
x
]
=
λ
,
V
a
r
[
x
]
=
λ
E[x]=\lambda,Var[x]=\lambda
E[x]=λ,Var[x]=λ.
1.5 几何分布
举例:抛掷硬币,第五次成功的概率。
几何分布就是在n次伯努利试验中,试验k次才得到第一次成功的机率。详细地说,是:前k-1次皆失败,第k次成功的概率。
P
(
x
=
k
)
=
(
1
−
p
)
k
−
1
p
P(x=k)=(1-p)^{k-1}p
P(x=k)=(1−p)k−1p
其中
E
[
x
]
=
1
p
,
V
a
r
[
x
]
=
1
−
p
p
2
E[x]=\frac{1}{p},Var[x]=\frac{1-p}{p^2}
E[x]=p1,Var[x]=p21−p。
1.6 指数分布
举例:某电子器件的寿命分布。
指数分布是描述泊松过程中的事件之间的时间的概率分布,即事件以恒定平均速率连续且独立地发生的过程。
f
(
x
)
=
1
θ
e
−
x
θ
f(x)=\frac{1}{\theta}e^{-\frac{x}{\theta}}
f(x)=θ1e−θx
其中
E
[
x
]
=
θ
,
V
a
r
[
x
]
=
θ
2
E[x]=\theta,Var[x]=\theta^2
E[x]=θ,Var[x]=θ2。
1.7 Gamma分布
举例:指数分布解决的问题是“要等到一个随机事件发生,需要经历多久时间”,而gamma分布解决的问题是要等到n个随机事件都发生,需要经历多久时间。摘自知乎CC思SS。
G
a
m
m
a
Gamma
Gamma分布即为多个独立且相同分布
(
i
i
d
)
(iid)
(iid)的指数分布变量的和的分布。x~
Γ
(
α
,
β
)
\Gamma(\alpha,\beta)
Γ(α,β),
α
\alpha
α表示shape,
β
\beta
β表示scale。
f
x
(
x
)
=
1
β
α
Γ
(
α
)
x
α
−
1
e
x
β
;
x
,
α
,
β
>
0
;
f_x(x)=\frac{1}{\beta^\alpha\Gamma(\alpha)}x^{\alpha-1}e^{\frac{x}{\beta}};\quad x,\alpha,\beta>0;
fx(x)=βαΓ(α)1xα−1eβx;x,α,β>0;
Γ
(
1
,
β
)
∼
E
X
P
(
β
)
\Gamma(1,\beta) \sim EXP(\beta)
Γ(1,β)∼EXP(β)
Y
i
∼
E
X
P
(
β
)
,
X
=
Y
1
+
Y
2
+
.
.
.
.
.
+
Y
n
∼
E
r
l
a
n
g
(
n
,
β
)
Y_i\sim EXP(\beta),X=Y_1+Y_2+.....+Y_n\sim Erlang(n,\beta)
Yi∼EXP(β),X=Y1+Y2+.....+Yn∼Erlang(n,β)
其中
E
[
x
]
=
α
β
,
V
a
r
[
x
]
=
α
β
2
E[x]=\frac{\alpha}{\beta},Var[x]=\frac{\alpha}{\beta^2}
E[x]=βα,Var[x]=β2α。
1.8 卡方分布
举例:卡方分布用于检验样本是否偏离了期望,例如偏离了期望的分布(拟合优度检验),期望的比例(列联表)等。以特定概率分布为某种情况建模时,事物长期结果较为稳定,能够清晰进行把握。但是期望与事实存在差异怎么办?偏差是正常的小幅度波动?还是建模错误?此时,利用卡方分布分析结果,排除可疑结果。事实与期望不符合情况下使用卡方分布进行检验,常规事件中出现非常规现象,如何检查问题所在的情况下使用卡方分布。
若n个相互独立的随机变量
ξ
₁
,
ξ
₂
,
.
.
.
,
ξ
n
ξ₁,ξ₂,...,ξn
ξ₁,ξ₂,...,ξn ,均服从标准正态分布(也称独立同分布于标准正态分布),则这n个服从标准正态分布的随机变量的平方和构成一新的随机变量,其分布规律称为卡方分布
(
c
h
i
−
s
q
u
a
r
e
d
i
s
t
r
i
b
u
t
i
o
n
)
(chi-square\quad distribution)
(chi−squaredistribution)。
χ
v
2
∼
Γ
(
v
2
,
2
)
\chi_v^2\sim\Gamma(\frac{v}{2},2)
χv2∼Γ(2v,2)
f
(
x
)
=
1
2
v
2
Γ
(
α
)
x
v
2
−
1
e
−
x
2
,
x
,
v
>
0
f(x)=\frac{1}{2^{\frac{v}{2}}\Gamma(\alpha)}x^{\frac{v}{2}-1}e^{-\frac{x}{2}},\quad x,v>0
f(x)=22vΓ(α)1x2v−1e−2x,x,v>0
其中
E
[
x
]
=
v
,
V
a
r
[
x
]
=
2
v
E[x]=v,Var[x]=2v
E[x]=v,Var[x]=2v。
1.9 t分布
举例:正态分布,可以算作t分布的特例。
T分布被广泛应用于小样本假设检验的原因。虽然是很小的样本,但是,却强大到可以轻松的排除异常值的干扰,准确把握住数据的特征(集中趋势和离散趋势)!
z
∼
N
(
0
,
1
)
,
V
∼
χ
v
2
,
T
=
z
v
/
r
∼
t
v
z\sim N(0,1),V\sim\chi^2_v,T=\frac{z}{\sqrt{v/r}}\sim t_v
z∼N(0,1),V∼χv2,T=v/rz∼tv
f
T
(
t
;
v
)
=
Γ
(
v
+
1
2
)
Γ
(
v
2
)
1
v
π
(
1
+
t
2
v
)
−
v
+
1
2
f_T(t;v)=\frac{\Gamma(\frac{v+1}{2})}{\Gamma(\frac{v}{2})}\frac{1}{\sqrt{v\pi}}(1+\frac{t^2}{v})^{-\frac{v+1}{2}}
fT(t;v)=Γ(2v)Γ(2v+1)vπ1(1+vt2)−2v+1
其中
E
[
x
]
=
0
,
V
a
r
[
x
]
=
v
v
−
2
E[x]=0,Var[x]=\frac{v}{v-2}
E[x]=0,Var[x]=v−2v。
1.10 F分布
举例:https://zhuanlan.zhihu.com/p/36231309
v
1
∼
χ
2
(
v
1
)
,
v
2
∼
χ
2
(
v
2
)
,
F
(
v
1
,
v
2
)
=
V
1
/
v
1
V
2
/
v
2
;
v_1\sim\chi^2(v_1),v_2\sim\chi^2(v_2),F(v_1,v_2)=\frac{V_1/v_1}{V_2/v_2};
v1∼χ2(v1),v2∼χ2(v2),F(v1,v2)=V2/v2V1/v1;
g
(
x
,
v
1
,
v
2
)
=
Γ
(
v
1
+
v
2
2
)
Γ
(
v
1
2
)
Γ
(
v
2
2
)
(
v
1
v
2
)
v
1
2
x
v
1
2
−
1
(
1
+
v
1
v
2
x
)
−
v
1
+
v
2
2
g(x,v_1,v_2)=\frac{\Gamma(\frac{v_1+v_2}{2})}{\Gamma(\frac{v_1}{2})\Gamma(\frac{v_2}{2})}(\frac{v_1}{v_2})^{\frac{v_1}{2}}x^{\frac{v_1}{2}-1}(1+\frac{v_1}{v_2}x)^{-\frac{v_1+v_2}{2}}
g(x,v1,v2)=Γ(2v1)Γ(2v2)Γ(2v1+v2)(v2v1)2v1x2v1−1(1+v2v1x)−2v1+v2
其中
E
[
x
]
=
v
2
v
2
−
2
,
V
a
r
[
x
]
=
2
v
2
2
(
v
1
+
v
2
−
2
)
v
1
(
v
2
−
2
)
2
(
v
1
−
4
)
E[x]=\frac{v_2}{v_2-2},Var[x]=\frac{2v_2^2(v_1+v_2-2)}{v_1(v_2-2)^2(v_1-4)}
E[x]=v2−2v2,Var[x]=v1(v2−2)2(v1−4)2v22(v1+v2−2)。
1.11 Beta分布
贝塔分布
(
B
e
t
a
D
i
s
t
r
i
b
u
t
i
o
n
)
(Beta Distribution)
(BetaDistribution)是一个作为伯努利分布和二项式分布的共轭先验分布的密度函数,在概率论中,
β
\beta
β分布,也称Β分布,是指一组定义在(0,1) 区间的连续概率分布。
B
e
t
a
(
μ
∣
a
,
b
)
=
Γ
(
a
+
b
)
Γ
(
a
)
Γ
(
b
)
μ
a
−
1
(
1
−
μ
)
b
−
1
Beta(\mu|a,b)=\frac{\Gamma(a+b)}{\Gamma(a)\Gamma(b)}\mu^{a-1}(1-\mu)^{b-1}
Beta(μ∣a,b)=Γ(a)Γ(b)Γ(a+b)μa−1(1−μ)b−1
其中期望和方差为
E
[
μ
]
=
a
a
+
b
,
V
a
r
[
μ
]
=
a
b
(
a
+
b
)
2
(
a
+
b
+
1
)
E[\mu]=\frac{a}{a+b},Var[\mu]=\frac{ab}{(a+b)^2(a+b+1)}
E[μ]=a+ba,Var[μ]=(a+b)2(a+b+1)ab