常见概率分布间的联系与发展: 从简单分布推导出复杂分布

搏努力概形

已于 2023-04-06 15:55:56 修改

阅读量769

点赞数 1

文章标签：人工智能算法概率论统计学

于 2023-04-06 00:52:16 首次发布

本文链接：https://blog.csdn.net/qq_45259021/article/details/129977185

版权

$* * * * * * * * * * * * * * *$ $\mathit{p}recision * logic * efficiency$ $* * * * * * * * * * * * * * *$

看了很多概率统计教材并没有详细介绍概率分布之间的关系以及如何由简单分布推导出复杂分布，网上有很多相关的贴文，我也来填个坑。 :-)

概率分布并不是凭空能够产生的，而是不断地站上前人肩膀基础上，从简单向复杂不断发展的。

对于初学者，理解完备事件组的概念对理解初级概率学有很大帮助，可以联系黎曼积分进行理解，可以参见我的另一篇 关于它应用的文章 帮助理解。

概率分布是统计学支柱性概念之一，在机器学习、人工智能等领域重要性不言而喻。

读完本文会发现指数分布、伽马分布等分布存在巨大的联系，补充一下：指数分布类(the Exponential Class of Distributions)，可参见我的这篇文章 。

0） 0-1分布

考虑描述一个事件X（伯努利试验），它要么发生要么不发生，假设发生概率为p，为了方便记录，把事件发生记为1，不发生记为0，那么这个X取值为0或1，它服从0-1分布，变量X称为伯努利计数变量，X的分布函数为：

$\binom{1 ,0}{p,1-p}$

1）二项分布（伯努利分布）

一个实验中事件发生的概率知道后，往往关注多次实验中某事件出现几次的概率，即n次实验中事件出现x次的概率，这个概率就是二项分布的分布律（顺便列出相关性质）：

从离散型分布到连续型分布

2）泊松分布

伯努利分布表示n次实验中事件发生x次的概率，考虑顾客到店的情形，在一段时间内有顾客进入店里的可能性比较适中，但是顾客在一段时间中随意某个时间点（比如某一秒内）到来的概率其实很小，若想知道一段时间内来x个顾客的概率（事件发生x次的概率），那么可以将这段时间划分为很多（无数）个时间点，每个时间点为一次实验，最后计算这些实验中发生x个事件发生的概率，这个概率的算出来就是泊松分布的分布律，计算过程：（输入公式麻烦，直接引用图片）：

给个泊松分布特征：

3）指数分布

泊松分布表示单位时间内事件发生x次的概率，那么反过来，我们自然会想知道发生一次事件所需的时间，或者说两次事件发生的时间间隔是多少，这个时间间隔就服从指数分布，可以从泊松分布推导出，过程为：

这就是指数分布的概率密度函数（PDF），求微分再根据分布函数特征即得累积概率分布函数（CDF），下面是其特征：

4）正态分布

正态分布的推导有很多种方法，可以自查，比如这个链接。这里从二项分布出发推导。

正态分布特征为：

5）二项分布相关分布

二项分布和0-1分布可以推出几何分布、超几何分布、负二项分布，它们都是一些特定问题的概率计算，有兴趣自查。

另外，柯西分布比较特殊，它是关于参数对称的单峰曲线，常用于描述两个随机变量之比的变化规律，有兴趣自查。

6）伽马分布（Γ-distribution ）

指数分布说明了两个随机事件发生的时间间隔，现在考虑n个指数分布随机事件都发生所需要的时间，这就是伽玛分布。实际上，伽玛分布可以看作是n个指数分布的独立随机变量的加总。证明为：

数学特征：

可见，指数分布就是当伽马分布的α（第一个参数）取1（一个指数分布的事件的时间间隔）时的分布，第二个参数就是指数分布的参数。根据可加性，它的期望和方差分别就是α（指数分布的第1个参数）个指数分布期望和方差的和。

7）卡方分布（chi-square distribution 、χ2-distribution)

将伽马分布的第一个参数取r/2，第2个参数取2，得到卡方分布：

8）贝塔分布（beta distribution、β-Distributions）

考虑伽马分布变量的函数的分布。假设X1和X2独立同分布于伽马分布，现有Y1=X1+X2，Y2=X1/（X1+X2），这里的Y2就服从贝塔分布，它的概率密度函数（PDF）的求解思路为：若能验证Y1和Y2独立，那么可以使用雅可比行列式（Jacobian determinant）求出其联合PDF后，再对Y2求偏导即可，现在求贝塔分布的PDF（可见《Introduction to Mathematical Statistics》，8th，Hogg ）：