概率论基础

1. 概率密度

p ( x ∈ ( a , b ) ) = ∫ a b p ( x ) d x p(x\in(a,b))=\int_{a}^{b}p(x)dx p(x(a,b))=abp(x)dx

2. 期望和协方差

2.1期望

在概率分布 p ( x ) p(x) p(x)下,函数 f ( x ) f(x) f(x)的均值被称为期望:
E [ f ] = Σ x p ( x ) f ( x ) E[f] = \Sigma_xp(x)f(x) E[f]=Σxp(x)f(x)
E [ f ] = ∫ p ( x ) f ( x ) d x E[f] = \int p(x)f(x)dx E[f]=p(x)f(x)dx
E x [ f ∣ y ] = Σ x p ( x ∣ y ) f ( x ) E_x[f|y] = \Sigma_xp(x|y)f(x) Ex[fy]=Σxp(xy)f(x)

2.2协方差

v a r [ f ] = E [ ( f ( x ) − E [ f ( x ) ] ) 2 ] = E [ f ( x ) 2 ] − E [ f ( x ) ] 2 v a r [ x ] = E [ x 2 ] − E [ x ] 2 c o v [ x , y ] = E x , y [ x y ] − E [ x ] E [ y ] var[f] = E[(f(x)-E[f(x)])^2]\\ \quad \qquad =E[f(x)^2]-E[f(x)]^2\\ var[x] =E[x^2]-E[x]^2\\ cov[x,y]=E_{x,y}[xy]-E[x]E[y] var[f]=E[(f(x)E[f(x)])2]=E[f(x)2]E[f(x)]2var[x]=E[x2]E[x]2cov[x,y]=Ex,y[xy]E[x]E[y]

3.贝叶斯定理

3.1Bayes形式

p ( ω ∣ D ) = p ( D ∣ ω ) p ( ω ) p ( D ) p ( D ) = ∫ p ( D ∣ ω ) p ( ω ) d ω p(\omega|D)=\frac{p(D|\omega)p(\omega)}{p(D)}\\ p(D)= \int p(D|\omega)p(\omega)d\omega p(ωD)=p(D)p(Dω)p(ω)p(D)=p(Dω)p(ω)dω

3.2似然函数
  • 后验 ≈ \approx 似然 ∗ * 先验
  • 概率:已知一些参数,预测接下来所观测到的结果。
  • 似然:已知观测结果,预测有关事物的性质的参数。(条件概率的逆反)
    l i k e h o o d : p ( A ∣ B ) = p ( A B ) p ( B ) B a y e s : p ( B ∣ A ) = p ( A ∣ B ) p ( B ) p ( A ) 似 然 函 数 : l i k ( θ ) = f D ( x 1 , x 2 , . . . . , x n ∣ θ ) L ( θ ∣ x 1 , x 2 , . . . . , x n ) likehood: p(A|B)=\frac{p(AB)}{p(B)}\\ Bayes:p(B|A)= \frac{p(A|B)p(B)}{p(A)}\\ 似然函数:lik(\theta)=f_D(x_1,x_2,....,x_n|\theta)\\ L(\theta|x_1,x_2,....,x_n) likehood:p(AB)=p(B)p(AB)Bayes:p(BA)=p(A)p(AB)p(B)lik(θ)=fD(x1,x2,....,xnθ)L(θx1,x2,....,xn)
  • 最大似然估计
    寻找一个合适的 θ \theta θ使得平均对数似然最大
    θ ^ m l e = a r g m a x θ ∈ Θ e ^ ( θ ∣ ∣ x 1 , x 2 , . . . . , x n ) \hat \theta_{mle}=argmax_{\theta \in \Theta}\hat e(\theta||x_1,x_2,....,x_n) θ^mle=argmaxθΘe^(θx1,x2,....,xn)

4.高斯分布

4.1标准正态分布
4.2多维高斯分布

5.Gamma函数

5.1定义

Γ ( n ) = ( n − 1 ) ! \Gamma(n) = (n-1)! Γ(n)=(n1)!
Γ ( z ) = ∫ 0 ∞ t z − 1 e − t d t   . \Gamma(z) = \int_0^\infty t^{z-1}e^{-t}dt\,. Γ(z)=0tz1etdt.

性质
  1. Γ ( x + 1 ) = x Γ ( x ) \Gamma(x+1) = x\Gamma(x) Γ(x+1)=xΓ(x)
  2. Γ ( n ) = ( n − 1 ) ! \Gamma(n) = (n-1)! Γ(n)=(n1)!
  3. Γ ( 1 ) = 1 \Gamma(1) =1 Γ(1)=1
  4. Γ ( 1 / 2 ) = π \Gamma(1/2) =\sqrt\pi Γ(1/2)=π
5.2Gamma分布

f ( x , β , α ) = β α Γ ( α ) x α − 1 e − β x f(x,\beta,\alpha)=\frac{\beta^\alpha}{\Gamma(\alpha)}x^{\alpha-1}e^{-\beta x} f(x,β,α)=Γ(α)βαxα1eβx

6.Bata函数

6.1定义

B ( x , y ) = ∫ 0 1 t α − 1 ( 1 − t ) β − 1 d t \Beta(x,y)=\int_0^1 t^{\alpha-1}(1-t)^{\beta-1}dt B(x,y)=01tα1(1t)β1dt

6.2性质
  1. B ( x , y ) = B ( y , x ) \Beta(x,y)=\Beta(y,x) B(x,y)=B(y,x)
  2. B ( x , y ) = ( x − 1 ) ! ( y − 1 ) ! ( x + y − 1 ) ! \Beta(x,y)=\frac{(x-1)!(y-1)!}{(x+y-1)!} B(x,y)=(x+y1)!(x1)!(y1)!
  3. B ( x , y ) = Γ ( x ) Γ ( y ) Γ ( x + y ) \Beta(x,y)=\frac{\Gamma(x)\Gamma(y)}{\Gamma(x+y)} B(x,y)=Γ(x+y)Γ(x)Γ(y)
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值