Γ \Gamma Γ 函数
Γ ( α ) = ∫ 0 + ∞ x α − 1 e − x d x \Gamma(\alpha)= \int_0^{+\infty}x^{\alpha-1}e^{-x}dx Γ(α)=∫0+∞xα−1e−xdx
Γ \Gamma Γ 分布
含义
- 指数分布解决的问题是:要等到一个随机事件发生,需要经历多久时间1
- 伽玛分布解决的问题是:要等到n个随机事件都发生,需要经历多久时间
- 伽玛分布可以看作是n个指数分布的独立随机变量的加总,即: n 个 E x p o n e n t i a l ( λ ) n个Exponential(λ) n个Exponential(λ)随机变量 → Γ ( n , λ ) \rightarrow \Gamma(n,λ) →Γ(n,λ)
- 泊松分布解决的是:在特定时间里发生n个事件的机率,因此可以理解为“伽玛分布=指数分布*泊松分布”
概率密度函数
随机变量 X X X为一件事发生 α α α次所需要的时间,即 X ∼ Γ ( α , β ) X\sim \Gamma(\alpha,\beta) X∼Γ(α,β),其中 α α α为形状参数(shape parameter),表示事件发生的次数, β β β为尺度参数(scale parameter),表示一次事件发生的频率
密度函数为:
f
(
x
,
β
,
α
)
=
β
α
Γ
(
α
)
x
α
−
1
e
x
p
(
−
β
x
)
f(x,\beta,\alpha)=\frac{\beta^\alpha}{\Gamma(\alpha)}x^{\alpha-1}exp(-\beta x)
f(x,β,α)=Γ(α)βαxα−1exp(−βx)
均值和方差为:
μ
=
α
β
\mu =\frac{\alpha}{\beta}
μ=βα
σ 2 = α β 2 \sigma^2 =\frac{\alpha}{\beta^2} σ2=β2α
特殊形式:
当 α > 1 \alpha>1 α>1时为指数分布2, f ( x , β , α ) = β Γ ( 1 ) x 0 e x p ( − β x ) = β ⋅ e x p ( − β x ) f(x,\beta,\alpha)=\frac{\beta}{\Gamma(1)}x^{0}exp(-\beta x)=\beta·exp(-\beta x) f(x,β,α)=Γ(1)βx0exp(−βx)=β⋅exp(−βx)
t=0:0.1:20;
y=gampdf(t,1,0.5);
plot(t,y);
hold on
y=gampdf(t,2,0.5);
plot(t,y);
y=gampdf(t,3,0.5);
plot(t,y);
y=gampdf(t,5,1);
plot(t,y);
y=gampdf(t,9,2);
plot(t,y);
legend('alpha=1,beta=0.5','alpha=2,beta=0.5','alpha=3,beta=0.5',...
'alpha=5,beta=1','alpha=9,beta=2')
axis([0 16 0 1])
逆 Γ \Gamma Γ 分布
若 θ − 1 \theta ^{-1} θ−1满足参数为 α , β \alpha ,\beta α,β的 Γ \Gamma Γ分布,则 θ \theta θ满足逆 Γ \Gamma Γ分布,记为 X ∼ I G ( α , β ) X\sim IG(\alpha ,\beta) X∼IG(α,β),逆 Γ \Gamma Γ 分布是正态方差的共轭先验分布
θ ∼ I n v − G a m m a ( α , β ) \theta \sim Inv-Gamma(\alpha,\beta) θ∼Inv−Gamma(α,β)
p ( θ ) ∼ I n v − G a m m a ( θ ∣ α , β ) p(\theta) \sim Inv-Gamma(\theta|\alpha,\beta) p(θ)∼Inv−Gamma(θ∣α,β)
s h a p e : α > 0 , s c a l e : β > 0 shape:\alpha>0,scale:\beta>0 shape:α>0,scale:β>0
p ( θ ) = β α Γ ( α ) θ − α − 1 e x p ( − β x ) p(\theta)=\frac{\beta^\alpha}{\Gamma(\alpha)}\theta^{-\alpha-1}exp( -\frac{\beta}{x}) p(θ)=Γ(α)βαθ−α−1exp(−xβ)
E ( θ ) = β α − 1 E(\theta) =\frac{\beta}{\alpha-1} E(θ)=α−1β
V a r ( θ ) = β 2 ( α − 1 ) 2 ( α − 2 ) Var(\theta) =\frac{\beta^2}{(\alpha-1)^2(\alpha-2)} Var(θ)=(α−1)2(α−2)β2
m o d e ( θ ) = β α + 1 mode(\theta) =\frac{\beta}{\alpha+1} mode(θ)=α+1β
正态逆 Γ \Gamma Γ 分布
Normal-inverse gamma distribution 又称 normal-scaled inverse gamme distriution,是正态分布的先验分布
PDF(概率密度函数):
P
r
(
μ
,
σ
2
)
=
γ
σ
2
π
β
α
Γ
[
α
]
(
1
σ
2
)
α
+
1
e
x
p
[
−
−
2
β
+
γ
(
δ
−
μ
)
2
2
σ
2
]
Pr(\mu,\sigma^2)=\frac{\sqrt\gamma}{\sigma\sqrt{2\pi}}\frac{\beta^\alpha}{\Gamma[\alpha]}(\frac{1}{\sigma^2})^{\alpha+1}exp[-\frac{-2\beta+\gamma(\delta-\mu)^2}{2\sigma^2}]
Pr(μ,σ2)=σ2πγΓ[α]βα(σ21)α+1exp[−2σ2−2β+γ(δ−μ)2]
P
r
(
μ
,
σ
2
)
=
N
o
r
m
I
n
v
G
a
m
μ
,
σ
2
[
α
,
β
,
γ
,
δ
]
Pr(\mu,\sigma^2)=NormInvGam_{\mu,\sigma^2}[\alpha,\beta,\gamma,\delta]
Pr(μ,σ2)=NormInvGamμ,σ2[α,β,γ,δ]
σ 2 ∼ Γ − 1 ( α , β ) , α λ β ( x − μ ) ∼ t ( 1 ) \sigma^2\sim\Gamma^{-1}(\alpha,\beta),\sqrt{\frac{\alpha\lambda}{\beta}}(x-\mu)\sim t(1) σ2∼Γ−1(α,β),βαλ(x−μ)∼t(1)
正态逆高斯分布
概率密度函数
f
x
(
x
)
=
α
δ
π
q
(
x
)
⋅
e
x
p
[
p
(
x
)
]
⋅
K
1
[
α
q
(
x
)
]
f_x(x)= \frac{\alpha \delta}{\pi q(x)}·exp[p(x)]·K_1[\alpha q(x)]
fx(x)=πq(x)αδ⋅exp[p(x)]⋅K1[αq(x)]
其中: p ( x ) = δ α 2 − β 2 + β ( x − μ ) p(x)=\delta\sqrt{\alpha^2-\beta^2}+\beta(x-\mu) p(x)=δα2−β2+β(x−μ)
q ( x ) = δ 2 + ( x 2 − μ 2 ) q(x)=\sqrt{\delta^2+(x^2-\mu^2)} q(x)=δ2+(x2−μ2)
K d ( ⋅ ) K_d(·) Kd(⋅)为索引为 d d d的第二类修正贝塞尔函数
N I G NIG NIG分布由 ( α , β , μ , δ ) (\alpha,\beta,\mu,\delta) (α,β,μ,δ)四个参数表征:
- 参数 α \alpha α为特征因子,控制分布衰减速度,越小衰减越慢,拖尾越严重
- 参数 β \beta β为偏斜因子,决定分布偏斜程度
- 参数 μ \mu μ为平移参数
- 参数 δ \delta δ为尺度参数
f
x
(
x
)
=
α
δ
π
δ
2
+
(
x
2
−
μ
2
)
⋅
e
x
p
[
δ
α
2
−
β
2
+
β
(
x
−
μ
)
]
⋅
K
1
[
α
δ
2
+
(
x
2
−
μ
2
)
]
f_x(x)= \frac{\alpha \delta}{\pi \sqrt{\delta^2+(x^2-\mu^2)}}·exp[\delta\sqrt{\alpha^2-\beta^2}+\beta(x-\mu)]·K_1[\alpha \sqrt{\delta^2+(x^2-\mu^2)}]
fx(x)=πδ2+(x2−μ2)αδ⋅exp[δα2−β2+β(x−μ)]⋅K1[αδ2+(x2−μ2)]
一般为对称分布,
β
=
μ
=
0
\beta=\mu=0
β=μ=0,则概率密度为:
f
x
(
x
)
=
α
δ
⋅
e
x
p
(
δ
α
)
π
δ
2
+
x
2
⋅
K
1
[
α
δ
2
+
x
2
]
f_x(x)= \frac{\alpha \delta·exp(\delta\alpha)}{\pi \sqrt{\delta^2+x^2}}·K_1[\alpha \sqrt{\delta^2+x^2}]
fx(x)=πδ2+x2αδ⋅exp(δα)⋅K1[αδ2+x2]
参考链接
神奇的伽玛函数 (上)
神奇的伽玛函数 (下)
MATLAB概率统计函数(1)
Gamma分布与逆Gamma分布 by weixin_41875052
Gamma分布和逆Gamma分布 by 萌即正义Zitrone
《计算机视觉:模型、学习和推理》一3.6 正态逆伽马分布
正态逆威沙特分布(Normal-Inverse-Wishart)
兰小艳, 陈莉, 贾建,等. 一种改进正态逆高斯分布模型的图像去噪算法[J]. 计算机应用研究, 2017(10):314-318.
Γ ( 1 ) = 1 \Gamma(1)=1 Γ(1)=1 ↩︎