概率论基础
1. 概率密度
p ( x ∈ ( a , b ) ) = ∫ a b p ( x ) d x p(x\in(a,b))=\int_{a}^{b}p(x)dx p(x∈(a,b))=∫abp(x)dx
2. 期望和协方差
2.1期望
在概率分布
p
(
x
)
p(x)
p(x)下，函数
f
(
x
)
f(x)
f(x)的均值被称为期望：
E
[
f
]
=
Σ
x
p
(
x
)
f
(
x
)
E[f] = \Sigma_xp(x)f(x)
E[f]=Σxp(x)f(x)
E
[
f
]
=
∫
p
(
x
)
f
(
x
)
d
x
E[f] = \int p(x)f(x)dx
E[f]=∫p(x)f(x)dx
E
x
[
f
∣
y
]
=
Σ
x
p
(
x
∣
y
)
f
(
x
)
E_x[f|y] = \Sigma_xp(x|y)f(x)
Ex[f∣y]=Σxp(x∣y)f(x)
2.2协方差
v a r [ f ] = E [ ( f ( x ) − E [ f ( x ) ] ) 2 ] = E [ f ( x ) 2 ] − E [ f ( x ) ] 2 v a r [ x ] = E [ x 2 ] − E [ x ] 2 c o v [ x , y ] = E x , y [ x y ] − E [ x ] E [ y ] var[f] = E[(f(x)-E[f(x)])^2]\\ \quad \qquad =E[f(x)^2]-E[f(x)]^2\\ var[x] =E[x^2]-E[x]^2\\ cov[x,y]=E_{x,y}[xy]-E[x]E[y] var[f]=E[(f(x)−E[f(x)])2]=E[f(x)2]−E[f(x)]2var[x]=E[x2]−E[x]2cov[x,y]=Ex,y[xy]−E[x]E[y]
3.贝叶斯定理
3.1Bayes形式
p ( ω ∣ D ) = p ( D ∣ ω ) p ( ω ) p ( D ) p ( D ) = ∫ p ( D ∣ ω ) p ( ω ) d ω p(\omega|D)=\frac{p(D|\omega)p(\omega)}{p(D)}\\ p(D)= \int p(D|\omega)p(\omega)d\omega p(ω∣D)=p(D)p(D∣ω)p(ω)p(D)=∫p(D∣ω)p(ω)dω
3.2似然函数
- 后验 ≈ \approx ≈似然 ∗ * ∗先验
- 概率：已知一些参数，预测接下来所观测到的结果。
- 似然：已知观测结果，预测有关事物的性质的参数。（条件概率的逆反）
l i k e h o o d : p ( A ∣ B ) = p ( A B ) p ( B ) B a y e s : p ( B ∣ A ) = p ( A ∣ B ) p ( B ) p ( A ) 似 然 函 数 ： l i k ( θ ) = f D ( x 1 , x 2 , . . . . , x n ∣ θ ) L ( θ ∣ x 1 , x 2 , . . . . , x n ) likehood: p(A|B)=\frac{p(AB)}{p(B)}\\ Bayes:p(B|A)= \frac{p(A|B)p(B)}{p(A)}\\ 似然函数：lik(\theta)=f_D(x_1,x_2,....,x_n|\theta)\\ L(\theta|x_1,x_2,....,x_n) likehood:p(A∣B)=p(B)p(AB)Bayes:p(B∣A)=p(A)p(A∣B)p(B)似然函数：lik(θ)=fD(x1,x2,....,xn∣θ)L(θ∣x1,x2,....,xn) - 最大似然估计
寻找一个合适的 θ \theta θ使得平均对数似然最大
θ ^ m l e = a r g m a x θ ∈ Θ e ^ ( θ ∣ ∣ x 1 , x 2 , . . . . , x n ) \hat \theta_{mle}=argmax_{\theta \in \Theta}\hat e(\theta||x_1,x_2,....,x_n) θ^mle=argmaxθ∈Θe^(θ∣∣x1,x2,....,xn)
4.高斯分布
4.1标准正态分布
4.2多维高斯分布
5.Gamma函数
5.1定义
Γ
(
n
)
=
(
n
−
1
)
!
\Gamma(n) = (n-1)!
Γ(n)=(n−1)!
Γ
(
z
)
=
∫
0
∞
t
z
−
1
e
−
t
d
t
 
.
\Gamma(z) = \int_0^\infty t^{z-1}e^{-t}dt\,.
Γ(z)=∫0∞tz−1e−tdt.
性质
- Γ ( x + 1 ) = x Γ ( x ) \Gamma(x+1) = x\Gamma(x) Γ(x+1)=xΓ(x)
- Γ ( n ) = ( n − 1 ) ! \Gamma(n) = (n-1)! Γ(n)=(n−1)!
- Γ ( 1 ) = 1 \Gamma(1) =1 Γ(1)=1
- Γ ( 1 / 2 ) = π \Gamma(1/2) =\sqrt\pi Γ(1/2)=π
5.2Gamma分布
f ( x , β , α ) = β α Γ ( α ) x α − 1 e − β x f(x,\beta,\alpha)=\frac{\beta^\alpha}{\Gamma(\alpha)}x^{\alpha-1}e^{-\beta x} f(x,β,α)=Γ(α)βαxα−1e−βx
6.Bata函数
6.1定义
B ( x , y ) = ∫ 0 1 t α − 1 ( 1 − t ) β − 1 d t \Beta(x,y)=\int_0^1 t^{\alpha-1}(1-t)^{\beta-1}dt B(x,y)=∫01tα−1(1−t)β−1dt
6.2性质
- B ( x , y ) = B ( y , x ) \Beta(x,y)=\Beta(y,x) B(x,y)=B(y,x)
- B ( x , y ) = ( x − 1 ) ! ( y − 1 ) ! ( x + y − 1 ) ! \Beta(x,y)=\frac{(x-1)!(y-1)!}{(x+y-1)!} B(x,y)=(x+y−1)!(x−1)!(y−1)!
- B ( x , y ) = Γ ( x ) Γ ( y ) Γ ( x + y ) \Beta(x,y)=\frac{\Gamma(x)\Gamma(y)}{\Gamma(x+y)} B(x,y)=Γ(x+y)Γ(x)Γ(y)
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
