数理统计中常用函数、概率分布函数总结

Happiness is to find someone who can give you warm and share your life together.

幸福就是找一个温暖的人过一辈子。

数理统计中常用函数、概率分布函数总结

克罗内克函数(Kornecker delta)

δ(i,j)={01if ijif i=j

伯努利分布函数(Bernoulli distribution)

又名两点分布或0-1分布。

  • 如果试验E是一个伯努利试验,将E独立重复地进行n次,则称这一串重复的独立试验为n重伯努利试验。
  • 进行一次伯努利试验,成功(X=1)概率为p(0<=p<=1),失败(X=0)概率为1-p,则称随机变量X服从伯努利分布。
    伯努利分布是离散型概率分布,概率分布函数为:
    f(x)=px(1p)1x=p1p0if x=1if x=0otherwise

二项分布(Binomial distribution)

二项分布是n重伯努利试验成功次数的离散概率分布。

  • 如果试验E是一个n重伯努利试验,每次伯努利试验的成功概率为p,X代表成功的次数,则X的概率分布是二项分布,记为X~B(n,p),其概率质量函数为:
    P{X=k}=Cknpk(1p)nk,k=0,1,2,3...,n.

    k=0nP{X=k}=1
  • 伯努利分布是二项分布在n=1时的特例。
  • 二项分布名称的由来,是由于其概率质量函数中使用了二项系数,该系数是二项式定理中的系数,二项式定理由牛顿提出:
    (x+y)n=Cknxkynk

多项分布(Multinomial distribution)

多项式分布是二项式分布的推广。二项式做n次伯努利实验,规定了每次试验的结果只有两个,如果现在还是做n次试验,只不过每次试验的结果可以有多m个,且m个结果发生的概率互斥且和为1,则发生其中一个结果X次的概率就是多项式分布。多项式分布的质量函数如下:

P{X1=k1,X2=k2,......,Xn=kn}=n!k1!k2!...Kn!i=1nPkii,wherei=0nki=n.

贝塔分布(Beta distribution)

先了解一下先验概率、后验概率、似然函数以及共轭分布的概念。

  • 先验概率 事情尚未发生前,我们对该事发生概率的估计。利用过去历史资料计算得到的先验概率,称为客观先验概率; 当历史资料无从取得或资料不完全时,凭人们的主观经验来判断而得到的先验概率,称为主观先验概率。例如抛一枚硬币头向上的概率为0.5,这就是主观先验概率。
  • 后验概率 指通过调查或其它方式获取新的附加信息,利用贝叶斯公式对先验概率进行修正,而后得到的概率。
  • 先验概率和后验概率的区别 先验概率不是根据有关自然状态的全部资料测定的,而只是利用现有的材料(主要是历史资料)计算的;后验概率使用了有关自然状态更加全面的资料,既有先验概率资料,也有补充资料。另外一种表述:先验概率是在缺乏某个事实的情况下描述一个变量;而后验概率是在考虑了一个事实之后的条件概率。
  • 似然函数 一种关于统计模型参数的函数。给定输出x时,关于参数θ的似然函数L(θ|x)(在数值上)等于给定参数θ后变量X的概率:L(θ|x)=P(X=x|θ)。
  • 似然和概率的区别 概率用于在已知一些参数的情况下,预测接下来的观测所得到的结果,而似然性则是用于在已知某些观测所得到的结果时,对有关事物的性质的参数进行估计。
  • 共轭分布 后验概率分布函数与先验概率分布函数具有相同形式

首先考虑在试验数据比较少的情况下,直接用最大似然法估计二项分布的参数可能会出现过拟合的现象(比如,扔硬币三次都是正面,那么最大似然法预测以后的所有抛硬币结果都是正面)。为了避免这种情况的发生,可以考虑引入先验概率分布来控制参数,防止出现过拟合现象。

先验概率和后验概率的关系如下:

posterior=likelihoodprior

二项分布的似然函数为(指二项分布除归一参数的部分,似然函数不是概率分布函数是由于似然函数不需要归一化):
μm(1μ)n
如果选择的先验概率也与和次方的乘积的关系,那么后验概率分布的函数形式就会跟它的先验函数形式一样了。具体来说,选择prior的形式是
w1μa(1μ)b
,那么posterior就会变成
w2μa+m(1μ)n+b
, w1,w2 (为概率分布函数的归一化参数),所以posterior和prior具有相同的函数形式(都是也与和次方的乘积),这样先验概率与后验概率就是共轭分布了。
通常选择贝塔分布作为先验概率分布函数,形式如下:
Beta(μ|a,b)=Γ(a+b)Γ(a)Γ(b)μa1(1μ)b1,where0<μ<1,Γ(n)=(n1)!,n=1,2,3...

狄利克雷分布(Dirichlet distribution)

狄利克雷分布是多项分布的共轭分布,与多项式分布具有相同的形式。

概率分布函数如下:

P(p1,...,pn;α1,...,αn)=1B(α)i=1npki1i,whereB(α)=ni=1Γ(αi)Γ(ni=1αi)

欢迎参考本人博客:https://smj2284672469.github.io/

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
©️2022 CSDN 皮肤主题:数字20 设计师:CSDN官方博客 返回首页
评论

打赏作者

梦家

投我以木桃,报之以琼瑶!

¥2 ¥4 ¥6 ¥10 ¥20
输入1-500的整数
余额支付 (余额:-- )
扫码支付
扫码支付:¥2
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、C币套餐、付费专栏及课程。

余额充值