【概率论】常用分布

离散分布

伯努利分布

分布：$x\sim B(1,p)$
均值：$p$
方差：$p(1-p)$
概念：一次伯努利试验成功0次或者1次的概率

二项分布

分布：$x\sim B(n,p),P(x=k)=C_n^k{p}^k(1-p{)}^{(n-k)}(1\le k\le n)$
均值: $np$
方差: $np(1-p)$
概念：$n$次伯努利试验成功$k$次的概率。
意义：从$N$个物品(A类物品占比$p$)中有放回的抽样$n$个物品，其中抽取的物品恰好包含$k$个A类物品的概率。

泊松分布

分布: $x\sim P(\lambda ),P(x=k)=\frac{{\lambda }^k{e}^{-\lambda }}{k!}(0\le k)$
均值：$\lambda$
方差：$\lambda$
概念：在一个给定的区间内，某种事件（事件在每一点发生与否是独立的，且每一点至多发生一次）发生的次数为$k$的概率。这里$\lambda$是与区间长度、事件发生密度相关的量。可以看作满足$np=\lambda ，n\to \infty$的二项分布，故均值、方差均为$\lambda$

几何分布

分布: $x\sim GE(p),P(x=k)=p(1-p{)}^{(k-1)}(k\ge 1)$
均值：$\frac{1}{p}$
方差：$\frac{1-p}{p^2}$
概念：在n次伯努利试验中，前k-1次皆失败，第k次成功的概率

超几何分布

分布：$x\sim H(N,M,n),P(x=k)=\frac{C_M^k{C}_{N-M}^{n-k}}{C_N^n}$
均值：$\frac{nM}{N}$
方差：$\frac{nM}{N}-(\frac{nM}{N}{)}^2+\frac{n(n-1)M(M-1)}{N(N-1)}$
概念：从有限N个物件（其中包含M个指定种类的物件）中抽出n个物件，成功抽出该指定种类的物件$k$次的概率（不放回）
与二项分布的关系：当$N\to \infty$，超几何分布等价于二项分布$B(n,\frac{M}{N})$

softmax分布

对伯努利分布的推广

多项分布

$P(x_1=m_1,x_2=m_2,...,x_n=m_n)=\frac{N!}{m_1!m_2!...m_n!}{p}_1^{m_1}p{2}^{m_2}...p_n^{m_n}$
概念：n次softmax试验

连续分布

均匀分布

分布: $x\sim U(a,b)$
均值：$\frac{a+b}{2}$
方差：$\frac{(b-a{)}^2}{12}$

高斯分布

分布： $x\sim N(\mu ,{\delta }^2),p(x)=\frac{1}{\sqrt{2\pi {\delta }^2}}\frac{(x-\mu {)}^2}{{\delta }^2}$
均值：$\mu$
方差：${\delta }^2$
扩展：高斯分布与L2正则化

指数分布

分布：$x\sim E(\lambda ),p(x)=\lambda e^{-\lambda x}$
均值：$\frac{1}{\lambda }$
方差：$\frac{1}{{\lambda }^2}$
意义：灯泡寿命
泊松分布是单位时间内独立事件发生次数的概率分布，指数分布是独立事件的时间间隔的概率分布（引用自http://www.ruanyifeng.com/blog/2015/06/poisson-distribution.html）

拉普拉斯分布

分布：$x\sim Laplace(\mu ,\lambda ),p(x)=\frac{1}{2\lambda }{e}^{-\frac{|x-\mu |}{\lambda }}$
均值：$\mu$
方差：$2{\lambda }^2$
形状：相当于两个背靠背的指数分布
扩展：拉普拉斯分布于L1正则化

贝塔分布

分布：$x\sim Beta(x|a,b),p(x)=\frac{\Gamma (a+b)}{\Gamma (a)\Gamma (b)}{x}^{a-1}(1-x{)}^{b-1}$
均值：$\frac{a}{a+b}$
方差：$\frac{ab}{(a+b{)}^2(a+b+1)}$
概念：关于连续变量$x\in [0,1]$的概率分布
$\Gamma (a)={\int }_0^{\infty }{x}^{a-1}{e}^{-x}dx$

迪利克雷分布

分布：$x\sim Dir(x|\alpha ),p(x)=\frac{\Gamma (\hat{\alpha })}{\Gamma ({\alpha }_1)\Gamma ({\alpha }_2)...\Gamma ({\alpha }_d)}\prod _{i=1}^{i=d}{x}_i^{{\alpha }_i-1}$，其中$\hat{\alpha }=\sum _{i=1}^{i=d}{\alpha }_i$
均值：$E(x_i)=\frac{{\alpha }_i}{\hat{\alpha }}$
方差：$D(x_i)=\frac{{\alpha }_i(\hat{\alpha }-{\alpha }_i)}{{\hat{\alpha }}^2(\hat{\alpha }+1)},cov(x_i,x_j)=\frac{{\alpha }_i{\alpha }_j}{{\hat{\alpha }}^2(\hat{\alpha }+1)}$
当$d=2$时，退化为贝塔分布
概念：一组关于$d$个连续变量$x_i\in [0,1]$且$\sum _{i=1}^{i=d}{x}_i=1$的概率分布

共轭分布

简单的对应关系

从二值到多值，伯努利分布–>softmax分布，二项分布–>多项分布
从随机变量到参数，伯努利分布的参数–>贝塔分布，softmax分布的参数–>迪利克雷分布

共轭分布

概念：设随机变量$x\sim p(x|\theta )$，参数$\theta \sim \Pi (\theta )$，给定观测样本，后验分布$p(\theta |X)$与先验分布$\Pi (\theta )$是同一种类型，则称先验分布$\Pi (\theta )$为关于$p(x|\theta )$的共轭分布。

优点：共轭分布可以使得问题得以简化。比如当随机变量服从伯努利分布且参数服从Beta分布时，给定观测样本后，只需要更新Beta分布的参数即可对模型进行更新

常用共轭分布表

$p(x\Vert \theta )$	$\Pi (\theta )$
伯努利分布 （二项分布）	贝塔分布
softmax分布 （多项分布）	迪利克雷分布
高斯分布	高斯分布