统计学习·概率分布汇总

1.1 伯努利分布

举例：一次抛硬币结果$heads=1,tails=0$：
$$p(x=1|\mu )=\mu$$
由此可知抛硬币结果正反面存在一种分布，这种非0即1的单次实验被称为伯努利分布。也称为零一分布、两点分布。
伯努利分布：
$$Bern(x|\mu )={\mu }^x(1-\mu {)}^{1-x}$$
其中期望、方差为$E[\mu ]=\mu ,Var[x]=\mu (1-\mu )$。

1.2 二项分布

举例：10次抛硬币，5次出现正面的概率？
二项分布是n个独立的是/非试验中成功的次数的离散概率分布。其实就是重复n次独立的伯努利试验。则这一系列试验总称为n重伯努利实验，当试验次数为1时，二项分布服从0-1分布也就是伯努利分布。
$$Bin(m|N,\mu )=C_N^m{\mu }^m(1-\mu {)}^{N-m}$$
m表示成功的次数，$\mu$成功的概率。
期望、方差为$E[m]={\sum }_{m=0}^{N}Bin(m|N,\mu )=N\mu ,Var[m]={\sum }_{m=0}^N(m-E[m]{)}^{2}Bin(m|N,\mu )=N\mu (1-\mu )$。

1.3 均匀分布

举例：每个一段时间有一辆车通过公交车站，乘客的候车时间就服从均匀分布。
在相同长度间隔的分布概率是等可能的。 均匀分布由两个参数a和b定义，它们是数轴上的最小值和最大值，通常缩写为$U(a,b)$.

$$f(x)=\frac{1}{b-a},a<x<b$$
其中期望和方差分别为：$E[x]=\frac{a+b}{2},Var[x]=\frac{(b-a{)}^2}{12}$.

1.4 泊松分布

举例：泊松分布适合于描述单位时间（或空间）内随机事件发生的次数。如某一服务设施在一定时间内到达的人数，电话交换机接到呼叫的次数，汽车站台的候客人数，机器出现的故障数，自然灾害发生的次数，一块产品上的缺陷数，显微镜下单位分区内的细菌分布数等等。
当二项分布的n很大而p很小时，泊松分布可作为二项分布的近似，其中$\lambda$为$np$。
$$P(x;\lambda )=\frac{e^{-\lambda }{\lambda }^x}{x!}$$
其中$E[x]=\lambda ,Var[x]=\lambda$.

1.5 几何分布

举例：抛掷硬币，第五次成功的概率。
几何分布就是在n次伯努利试验中，试验k次才得到第一次成功的机率。详细地说，是：前k-1次皆失败，第k次成功的概率。
$$P(x=k)=(1-p{)}^{k-1}p$$
其中$E[x]=\frac{1}{p},Var[x]=\frac{1-p}{p^2}$。

1.6 指数分布

举例：某电子器件的寿命分布。
指数分布是描述泊松过程中的事件之间的时间的概率分布，即事件以恒定平均速率连续且独立地发生的过程。
$$f(x)=\frac{1}{\theta }{e}^{-\frac{x}{\theta }}$$
其中$E[x]=\theta ,Var[x]={\theta }^2$。

1.7 Gamma分布

举例：指数分布解决的问题是“要等到一个随机事件发生，需要经历多久时间”，而gamma分布解决的问题是要等到n个随机事件都发生，需要经历多久时间。摘自知乎CC思SS。
$Gamma$分布即为多个独立且相同分布$（iid）$的指数分布变量的和的分布。x~$\Gamma (\alpha ,\beta )$,$\alpha$表示shape,$\beta$表示scale。
$$f_x(x)=\frac{1}{{\beta }^{\alpha }\Gamma (\alpha )}{x}^{\alpha -1}{e}^{\frac{x}{\beta }};x,\alpha ,\beta >0;$$
$$\Gamma (1,\beta )\sim EXP(\beta )$$

$$Y_i\sim EXP(\beta ),X=Y_1+Y_2+.....+Y_n\sim Erlang(n,\beta )$$
其中$E[x]=\frac{\alpha }{\beta },Var[x]=\frac{\alpha }{{\beta }^2}$。

1.8 卡方分布

举例：卡方分布用于检验样本是否偏离了期望，例如偏离了期望的分布(拟合优度检验)，期望的比例(列联表)等。以特定概率分布为某种情况建模时，事物长期结果较为稳定，能够清晰进行把握。但是期望与事实存在差异怎么办？偏差是正常的小幅度波动？还是建模错误？此时，利用卡方分布分析结果，排除可疑结果。事实与期望不符合情况下使用卡方分布进行检验，常规事件中出现非常规现象，如何检查问题所在的情况下使用卡方分布。

若n个相互独立的随机变量$\xi ₁，\xi ₂，...,\xi n$ ，均服从标准正态分布（也称独立同分布于标准正态分布），则这n个服从标准正态分布的随机变量的平方和构成一新的随机变量，其分布规律称为卡方分布$（chi-squaredistribution）$。
$${\chi }_v^2\sim \Gamma (\frac{v}{2},2)$$
$$f(x)=\frac{1}{2^{\frac{v}{2}}\Gamma (\alpha )}{x}^{\frac{v}{2}-1}{e}^{-\frac{x}{2}},x,v>0$$
其中$E[x]=v,Var[x]=2v$。

1.9 t分布

举例：正态分布，可以算作t分布的特例。
T分布被广泛应用于小样本假设检验的原因。虽然是很小的样本，但是，却强大到可以轻松的排除异常值的干扰，准确把握住数据的特征（集中趋势和离散趋势）！
$z\sim N(0,1),V\sim {\chi }_v^2,T=\frac{z}{\sqrt{v/r}}\sim t_v$
$$f_T(t;v)=\frac{\Gamma (\frac{v+1}{2})}{\Gamma (\frac{v}{2})}\frac{1}{\sqrt{v\pi }}(1+\frac{t^2}{v}{)}^{-\frac{v+1}{2}}$$
其中$E[x]=0,Var[x]=\frac{v}{v-2}$。

1.10 F分布

举例：https://zhuanlan.zhihu.com/p/36231309
$$v_1\sim {\chi }^2(v_1),v_2\sim {\chi }^2(v_2),F(v_1,v_2)=\frac{V_1/v_1}{V_2/v_2};$$
$$g(x,v_1,v_2)=\frac{\Gamma (\frac{v_1+v_2}{2})}{\Gamma (\frac{v_1}{2})\Gamma (\frac{v_2}{2})}(\frac{v_1}{v_2}{)}^{\frac{v_1}{2}}{x}^{\frac{v_1}{2}-1}(1+\frac{v_1}{v_2}x{)}^{-\frac{v_1+v_2}{2}}$$
其中$E[x]=\frac{v_2}{v_2-2},Var[x]=\frac{2v_2^2(v_1+v_2-2)}{v_1(v_2-2{)}^2(v_1-4)}$。

1.11 Beta分布

贝塔分布$（BetaDistribution)$是一个作为伯努利分布和二项式分布的共轭先验分布的密度函数,在概率论中，$\beta$分布，也称Β分布，是指一组定义在(0,1) 区间的连续概率分布。
$$Beta(\mu |a,b)=\frac{\Gamma (a+b)}{\Gamma (a)\Gamma (b)}{\mu }^{a-1}(1-\mu {)}^{b-1}$$
其中期望和方差为$E[\mu ]=\frac{a}{a+b},Var[\mu ]=\frac{ab}{(a+b{)}^2(a+b+1)}$