数理统计中常用函数、概率分布函数总结

Happiness is to find someone who can give you warm and share your life together.

幸福就是找一个温暖的人过一辈子。

数理统计中常用函数、概率分布函数总结

克罗内克函数（Kornecker delta）

$$\delta(i,j)=\begin{cases} 0& \text{if $i \neq j $}\\ 1& \text{if i=j} \end{cases}$$

伯努利分布函数（Bernoulli distribution）

又名两点分布或0-1分布。

• 如果试验E是一个伯努利试验，将E独立重复地进行n次，则称这一串重复的独立试验为n重伯努利试验。
• 进行一次伯努利试验，成功(X=1)概率为p(0<=p<=1)，失败(X=0)概率为1-p，则称随机变量X服从伯努利分布。
  伯努利分布是离散型概率分布，概率分布函数为：
  $$f(x)=p^x(1-p)^{1-x}=\begin{cases} p& \text{if x=1}\\ 1-p & \text{if x=0}\\ 0 & otherwise \end{cases}$$

二项分布（Binomial distribution）

二项分布是n重伯努利试验成功次数的离散概率分布。

• 如果试验E是一个n重伯努利试验，每次伯努利试验的成功概率为p，X代表成功的次数，则X的概率分布是二项分布，记为X~B(n,p)，其概率质量函数为：
  $$P\{X=k\}=C_n^kp^k(1-p)^{n-k},k=0,1,2,3...,n.$$
  $$\sum_{k=0}^n P\{X=k\}=1$$
• 伯努利分布是二项分布在n=1时的特例。
• 二项分布名称的由来，是由于其概率质量函数中使用了二项系数，该系数是二项式定理中的系数，二项式定理由牛顿提出：
  $$(x+y)^n=C_n^kx^ky^{n-k}$$

多项分布（Multinomial distribution）

多项式分布是二项式分布的推广。二项式做n次伯努利实验，规定了每次试验的结果只有两个，如果现在还是做n次试验，只不过每次试验的结果可以有多m个，且m个结果发生的概率互斥且和为1，则发生其中一个结果X次的概率就是多项式分布。多项式分布的质量函数如下：

$$P\{X_1=k_1,X_2=k_2,......,X_n=k_n\}=\frac{n!}{k_1!k_2!...K_n!}\prod_{i=1}^nP_i^{k_i},where \sum_{i=0}^nk_i=n.$$

贝塔分布（Beta distribution）

先了解一下先验概率、后验概率、似然函数以及共轭分布的概念。

• 先验概率 事情尚未发生前，我们对该事发生概率的估计。利用过去历史资料计算得到的先验概率，称为客观先验概率； 当历史资料无从取得或资料不完全时，凭人们的主观经验来判断而得到的先验概率，称为主观先验概率。例如抛一枚硬币头向上的概率为0.5，这就是主观先验概率。
• 后验概率 指通过调查或其它方式获取新的附加信息，利用贝叶斯公式对先验概率进行修正，而后得到的概率。
• 先验概率和后验概率的区别 先验概率不是根据有关自然状态的全部资料测定的，而只是利用现有的材料(主要是历史资料)计算的；后验概率使用了有关自然状态更加全面的资料，既有先验概率资料，也有补充资料。另外一种表述：先验概率是在缺乏某个事实的情况下描述一个变量；而后验概率是在考虑了一个事实之后的条件概率。
• 似然函数 一种关于统计模型参数的函数。给定输出x时，关于参数θ的似然函数L(θ|x)（在数值上）等于给定参数θ后变量X的概率：L(θ|x)=P(X=x|θ)。
• 似然和概率的区别 概率用于在已知一些参数的情况下，预测接下来的观测所得到的结果，而似然性则是用于在已知某些观测所得到的结果时，对有关事物的性质的参数进行估计。
• 共轭分布 后验概率分布函数与先验概率分布函数具有相同形式

首先考虑在试验数据比较少的情况下，直接用最大似然法估计二项分布的参数可能会出现过拟合的现象（比如，扔硬币三次都是正面，那么最大似然法预测以后的所有抛硬币结果都是正面）。为了避免这种情况的发生，可以考虑引入先验概率分布来控制参数，防止出现过拟合现象。

先验概率和后验概率的关系如下：

$$posterior=likelihood*prior$$
二项分布的似然函数为（指二项分布除归一参数的部分，似然函数不是概率分布函数是由于似然函数不需要归一化）： $$μ^m(1-μ)^n$$ 如果选择的先验概率也与和次方的乘积的关系，那么后验概率分布的函数形式就会跟它的先验函数形式一样了。具体来说，选择prior的形式是 $$w_1μ^a(1-μ)^b$$ ，那么posterior就会变成 $$w_2μ^{a+m}(1-μ)^{n+b}$$ , $w_1,w_2$(为概率分布函数的归一化参数)，所以posterior和prior具有相同的函数形式(都是也与和次方的乘积)，这样先验概率与后验概率就是共轭分布了。
通常选择贝塔分布作为先验概率分布函数，形式如下：
$$Beta(μ|a,b)=\frac{\varGamma(a+b)}{\varGamma(a)\varGamma(b)}μ^{a-1}(1-μ)^{b-1},where 0<μ<1,\varGamma(n)=(n-1)!,n=1,2,3...$$

狄利克雷分布（Dirichlet distribution）

狄利克雷分布是多项分布的共轭分布，与多项式分布具有相同的形式。

概率分布函数如下：

$$P(p_1,...,p_n;α_1,...,α_n)=\frac{1}{B(α)}\prod_{i=1}^{n}p_i^{k_i-1},where B(α)=\frac{\prod_{i=1}^{n}\varGamma(α_i)}{\varGamma(\sum_{i=1}^nα_i)}$$

欢迎参考本人博客：https://smj2284672469.github.io/