深度学习中的一些概率函数分布

1. 随机变量及其分布函数

1.1 随机变量和概率分布函数的定义

随机变量是分布函数中重要的概念，它表示随机试验各种结果的实值单值函数。随机事件不论与数量是否直接有关系，均可以进行数量化.对于给定的随机试验，$\Omega$是其样本空间，对于$\Omega$空间中每一个样本点$\omega$，有且只有一个实数$X(\omega )$与之对应，则称此定义在空间$\Omega$的实值函数$X$为随机变量.
设$X$是一个随机变量，称定义域为$(-\infty ,+\infty )$，函数的值域在$[0,1]$上的实值函数
$$F(x)=P(X\le x)(-\infty <x<+\infty )$$
为随机变量$X$的分布函数.所以说，若已知$X$的分布函数，那么就可以知道$X$落在任意一个区间上的概率：
P { x 1 ≤ X ≤ x 2 } = P { X ≤ x 2 } − P { X ≤ x 1 } = F ( x 2 ) − F ( x 1 ) P\{x_{1}\leq X \leq x_{2}\}=P\{X \leq x_{2}\}-P\{X \leq x_{1}\}=F(x_{2})-F(x_{1}) P{x1​≤X≤x2​}=P{X≤x2​}−P{X≤x1​}=F(x2​)−F(x1​)
所以说，概率分布函数完整地描述了随机变量的统计规律性.

1.2 性质

具体来说，概率分布函数具有以下的基本性质：
(1) $0\le F(x)\le 1(-\infty <x<+\infty )$；
(2) 对于任意两点$x_1$和$x_2$，当$x_1<x_2$的时候，有$F(x_1)<F(x_2)$，即任意概率分布函数都是单调不减的函数；
(3) $\underset{x\to -\infty }{\lim }F(x)=0$以及$\underset{x\to +\infty }{\lim }F(x)=1$；
(4) $\underset{x\to x_0^{+}}{\lim }F(x_0)=F(x_0)(-\infty <x<+\infty )$即任意概率分布函数是一个右连续函数.

2. 离散型随机变量

有一些随机变量，它的可能取值是有限个或者是多个数值，这样的随机变量称为离散型随机变量，它的分布即称为离散型随机分布.

2.1 离散型随机变量分布律

一般地，通常以以下的分布律来表达离散型随机分布。
设$X$是一个离散型随机变量，它可能的取值为$x_1,x_2,...,x_n$，事件 { X = x i } \{X=x_{i}\} {X=xi​}的概率为$p_i(i=1,2,3,...,n)$，那么可以用下面的表格来表达$X$取值的规律：

$X$	$x_1$	$x_2$	…	$x_n$
概率	$p_1$	$p_2$	…	$p_n$

其中,$0\le p_i\le 1(i=1,2,...,n)$,$\sum _i{p}_i=1$.这个表格就称为离散型随机变量$X$的分布律。

2.2 常见的分布函数

下面将会介绍几种常见的随机变量的分布函数.

2.2.1 伯努利(Bernouli)分布

这个也称作是0-1分布，这是一个单一二元变量 x ∈ { 0 , 1 } x \in \{0,1\} x∈{0,1}的分布。它是由一个连续参数 μ ∈ { 0 , 1 } \mu \in \{0,1\} μ∈{0,1}控制，这个参数表示$x=1$的概率。具体有以下的表达式：
$$\text{Bern}(x|\mu )={\mu }^x(1-\mu {)}^{1-x}$$

$$\mathbb{E}[x]=\mu$$

$$\text{var}[x]=\mu (1-\mu )$$

$$\text{mode}[x]=\{\begin{array}{ll}1& ,\text{ if }\mu >0.5\\ 0& ,\text{otherwise}\end{array}$$

$$H[x]=-\mu \text{ln}\mu -(1-\mu )\text{ln}(1-\mu )$$

2.2.2 二项分布

二项分布给出了在伯努利分布中的$N$个样本中观察到$m$次$x=1$的概率.伯努利分布中，设观测到$x=1$的概率是$\mu \in [0,1]$，则表达式为：
$$\text{Bin}(m|N,\mu )=(\genfrac{}{}{0ex}{}{N}{m}){\mu }^m(1-\mu {)}^{N-m}$$

$$\mathbb{E}[x]=N\mu$$

$$\text{var}[x]=N\mu (1-\mu )$$

$$\text{mode}[m]=\lfloor (N+1)\mu \rfloor$$

其中，$\lfloor (N+1)\mu \rfloor$表示超过$(N+1)\mu$的最大整数.另外
$$\left(\genfrac{}{}{0ex}{}{N}{m}\right)=\frac{N!}{m!(N-m)!}$$

二项式分布中$N=1$这一个特殊情形被称作是伯努利分布。一般地，对于大数值$N$，二项分布近似于高斯分布。$\mu$的共轭先验是$\text{Beta}$分布。若随机变量$X$具有二项分布，一般记为$X\sim B(n,\mu )$.

2.2.3 多项式分布

如果将伯努利分布推广到$K$维二元变量$x\text{x}x$，其中分量$x_k\in 0,1$并且$\sum _k{x}_k=1$，则会有下面的离散分布
$$p(x\text{x}x)=\prod _{k=1}^K{\mu }_k^{x_k}$$

$$\mathbb{E}(x_k)={\mu }_k$$

$$\text{var}[x_k]={\mu }_k(1-{\mu }_k)$$

$$\text{cov}[x_j{x}_k]=-{\mu }_j{\mu }_k,j\ne k$$

$$H[x\text{x}x]=-\sum _{k=1}^K{\mu }_k\text{ln}{\mu }_k$$

由于$p({\mu }_k=1)={\mu }_k$，因而参数必须满足下列条件：$0\le {\mu }_k\le 1$以及$\sum _k{\mu }_k=1$.
多项式分布，二项分布对于多元变量的推广中，下面表达式给出了一个具有$K$个状态的离散变量在总计$N$次观测中处于状态$k$的次数$m_k$的分布律：
$$\text{Mult}(m_1,m_2,...,m_K)=\left(\genfrac{}{}{0ex}{}{N}{m_1{m}_2...m_K}\right)\prod _{k=1}^K{\mu }_k^{m_k}$$

$$\mathbb{E}[m_k]=N{\mu }_k$$

$$\text{var}[m_k]=N{\mu }_k(1-{\mu }_k)$$

$$\text{cov}[m_j{m}_k]=-N{\mu }_j{\mu }_k,j\ne k$$

其中$x\text{x}x=({\mu }_1,...,{\mu }_K{)}^T$，并且
$$\left(\genfrac{}{}{0ex}{}{N}{m_1{m}_2...m_K}\right)=\frac{N!}{m_1!...m_K!}$$

这个值给出了这样的一个结果，即把$N$个相同的物体中的$m_k$个放到箱子$k$中方案总数，其中$k=1,...,K$.${\mu }_k$给出了随机变量处于k状态的概率，因此必须满足条件$0\le {\mu }_k\le 1$并且$\sum _k{\mu }_k=1$.参数${\mu }_k$的共轭先验是狄利克雷分布.

2.2.4 泊松分布

设随机变量$X$的分布律为
$$\text{Poisson}(x=k|\lambda )=\frac{{\lambda }^k}{k!}{e}^{-\lambda }$$

称随机变量$X$服从参数为$\lambda$的泊松分布，其中$\lambda >0$，并且记泊松分布为$X\sim P(\lambda )$.
其中，
$$\mathbb{E}[x]=\lambda$$

$$\text{var}[x]=\lambda$$
泊松分布的参数$\lambda$是单位时间(或单位面积)内随机事件的平均发生次数。 泊松分布适合于描述单位时间内随机事件发生的次数.

泊松分布是并不是一个缺少记忆分布函数。一般地，假设随机变量$X$服从参数$\lambda$的泊松分布，则
P { X = i + 1 } P { X = i } = e − λ λ i + 1 / ( i + 1 ) ! e − λ λ i / i ! = λ i + 1 \frac{P\{X=i+1\}}{P\{X=i\}}=\frac{e^{-\lambda}\lambda^{i+1}/(i+1)!}{e^{-\lambda}\lambda^{i}/i!}=\frac{\lambda}{i+1} P{X=i}P{X=i+1}​=e−λλi/i!e−λλi+1/(i+1)!​=i+1λ​
即会有下的递推公式
P { X = i + 1 } = λ i + 1 P { X = i } P\{X=i+1\}=\frac{\lambda}{i+1}P\{X=i\} P{X=i+1}=i+1λ​P{X=i}

其中， P { X = 0 } = e − λ P\{X=0\}=e^{-\lambda} P{X=0}=e−λ。

2.2.5 几何分布

设在独立重复试验中，事件$A$出现的概率为$p$，随机变量$X$是事件$A$首次出现时的试验次数.那么会有以下分布律
$$\text{Geo}(X=n)=q^{n-1}p$$

其中$q=1-p$.称此分布为具有参数$p$的集合分布，记做$X\sim GE(p)$.它的期望和方差为：
$$\mathbb{E}[x]=\frac{1}{p}$$
$$\text{var}[x]=\frac{1-p}{p^2}$$
几何分布有下面几个推广，
推广一：
在伯努利试验中，设每次试验过程中事件$A$发生的概率为$p$，试验进行到事件$A$和$\bar{A}$都出现为止，设随机变量$X$为进行的试验次数，那么必有以下结果：
$$P(x=k)=q^{k-1}p+p^{k-1}q$$
其中，$q=1-p,k=2,3,...$.因此上面的表达式可以是一个分布列，并且是两个几何数列一般项的和，称$X$服从两个事件下推广的几何分布，记做$X\sim PGE(2,p)$.有以下期望、方差表达式：
$$\mathbb{E}[x]=\frac{1}{pq}-1$$
$$\begin{gathered} \text{var}[x]=\mathbb{E}(X^2)-(\mathbb{E}(X){)}^2 \\ =\frac{q^2+q^3+p^2+p^3-p^2{q}^2}{p^2{q}^2}-\frac{1}{p^2} \\ =\frac{1-3p+p^2+4p^3-2p^4}{p^2{q}^2} \end{gathered}$$
推广二：
现在进行独立重复试验，每次试验会有三个事件$A$、$B$、$C$中其中的一个发生，记这三个事件$A$、$B$、$C$发生的概率为$p_1$、$p_2$、$p_3$，并且$p_1,p_2,p_3>0;p_1+p_2+p_3=1$.试验进行到事件$A$、$B$、$C$都发生为止，设随机变量$X$为此时进行的试验次数，那么会有
$$\begin{gathered} P(X=k)=\sum _{j=1}^{k-2}\left(\genfrac{}{}{0ex}{}{k-1}{j}\right)p_2^j{p}_3^{k-1-j}{p}_1+\sum _{j=1}^{k-2}\left(\genfrac{}{}{0ex}{}{k-1}{j}\right)p_1^j{p}_3^{k-1-j}{p}_2+\sum _{j=1}^{k-2}\left(\genfrac{}{}{0ex}{}{k-1}{j}\right)p_1^j{p}_2^{k-1-j}{p}_3 \\ =(p_2+p_3{)}^{k-1}{p}_1+(p_1+p_3{)}^{k-1}{p}_2+(p_1+p_2{)}^{k-1}{p}_3-(p_2+p_3)p_1^{k-1}-(p_1+p_3)p_2^{k-1}-(p_1+p_2)p_3^{k-1} \end{gathered}$$

其中$k=3,4,...$.上面的式子也可以作为一个分布列，此分布列是六个几何数列一般项的和与差，称$X$服从三事件下推广的几何分布，记做$X\sim PGE(3;p_1,p_2)$.数学期望为：
$$\mathbb{E}(X)=\sum _{k=3}^{+\infty }=1+\frac{1}{p_1}+\frac{1}{p_2}+\frac{1}{p_3}-\frac{1}{1-p_1}-\frac{1}{1-p_2}-\frac{1}{1-p_3}$$

2.2.6 帕斯卡分布

帕斯卡分布，是几何分布中的一个推广结论。假设在重复、独立的伯努利试验中，设每次试验成功的概率为$p$，失败的概率为$q=1-p$，将试验进行到出现$r$次($r$是一个常数)成功为止，另外设随机变量$X$表示总共成功$r$这个试验所需要的的次数，则称$X$就服从关于参数$r$和$p$的帕斯卡分布，记做$X\sim NB(r,p)$.其分布律表达式为：
$$\text{Pascal}(X=k|p,r)=(\genfrac{}{}{0ex}{}{k-1}{r-1})p^{r-1}{q}^{k-r}\cdot p=(\genfrac{}{}{0ex}{}{k-1}{r-1})p^r{q}^{k-r}$$

期望和方差为
$$\mathbb{E}[X]=\frac{r}{p}$$

$$\text{var}[X]=\frac{rq}{p^2}$$

当$r$为整数的时候，负二项分布又称为帕斯卡分布，负二项分布即
$$f(k|r,p)=(\genfrac{}{}{0ex}{}{k+r-1}{r-1})p^r(1-p{)}^k$$

表示在一连串伯努利试验中，某事件刚好在第$r+k$次试验中出现$r$次的概率。特别地，当$r=1$时候，负二项分布等于几何分布，即
$$f(k|1,p)=p\cdot (1-p{)}^k$$

2.2.7 超几何分布

超几何分布是一种常见的离散分布律。有限个$N$个物件中，假设包含有$M$个指定种类的物件，现在做一个试验，从这$N$个物件中不放回地抽取$n$个物件，随机变量$X$表示成功抽取该指定物件的次数，那么其分布律可以由如下表示
$$P(X=k)=\frac{\left(\genfrac{}{}{0ex}{}{M}{k}\right)\left(\genfrac{}{}{0ex}{}{N-M}{n-k}\right)}{\left(\genfrac{}{}{0ex}{}{N}{n}\right)}$$

称随机变量$X$服从以$n$、$N$、$M$的超几何分布。记做$X\sim H(n,N,M)$.期望以及方差的大小为
$$\mathbb{E}[X]=\frac{nM}{N}$$

$$\text{var}[X]=\frac{nM}{N}-(\frac{nM}{N}{)}^2+\frac{n(n-1)M(M-1)}{N(N-1)}$$

超几何分布和二项分布具有一定的联系，主要有下面几个方面的联系
(1) 在超几何分布中，当$N\to +\infty$时，$\frac{M}{N}\to p$;
(2) 当$N\to +\infty$时，超几何分布的期望值$\mathbb{E}[X]=\frac{nM}{N}\to np$，方差$\text{var}[X]\to np(1-p)$；
(3) 当$N\to +\infty$时，超几何分布近似为二项分布.

3.连续型随机变量

当随机变量取值充满一个区间(或者是若干个区间的并集)，那么即定义这类随机变量为连续型随机变量。

3.1 概率密度函数及性质

一般地，如果随机变量$X$的分布函数$F(x)$对每一$x$可以表示为
$$F(x)={\int }_{-\infty }^{x}f(t)dt$$
其中$f(x)>0$，则称$X$为连续型随机变量，$f(x)$为$X$的概率密度函数，并称$X$的分布为连续型分布.
概率密度函数具有以下的一些性质：
(1) $f(x)>0$；
(2) ${\int }_{-\infty }^{+\infty }f(x)dx=1$；
(3) $P(a<X\le b)={\int }_{-\infty }^{b}f(x)dx-{\int }_{-\infty }^{a}f(x)dx={\int }_a^{b}f(x)dx$；
很明显，以$x$轴区间$[a,b]$为底、曲线$y=f(x)$为顶的曲边梯形的面积就是$P(a<X\le b)$的值.
很容易得出分布函数具有以下的性质：
设连续型随机变量$X$，$F(x)$与$f(x)$分别是随机变脸的分布函数和密度分布函数，那么
(1) $F(x)$是一个连续函数，而且在$f(x)$的连续点处有$F^{{}^{\prime }}(x)=f(x)$；
(2) 对于任意一个常数$c\in [-\infty ,+\infty ]$，有$P(X=c)=0$；
(3) 对于任意两个常数$a$和$b$，$-\infty <a<b<+\infty$,
$$P(a<X<b)=P(a<X\le b)=P(a\le X<b)=P(a\le X\le b)={\int }_a^{b}f(x)dx$$

下面就介绍在深度学习中常见到的概率分布函数及其密度函数.

3.2 常见的概率分布函数

3.2.1 均匀(Uniform)分布

均匀分布是连续型随机分布中最简单的一个。设随机变量$X$的密度函数为
$$\text{Uniform}(x|a,b)=\{\begin{array}{ll}\frac{1}{b-a}& ,\text{ if }a<x<b\\ 0& ,\text{ if }\text{otherwise}\end{array}$$

称$X$服从区间$(a,b)$上的均匀分布，记为$X\sim U(a,b)$
分布函数为
$$F(x)=\{\begin{array}{ll}0& ,\text{ if }x<a\\ \frac{x-a}{b-a}& ,a\le x\le b\\ 0& ,\text{ if }x>b\end{array}$$
其中的一些性质如下：
$$\mathbb{E}[x]=\frac{a+b}{2}$$
$$\text{var}[x]=\frac{(b-a{)}^2}{12}$$
$$H[x]=\text{ln}(b-a)$$

3.2.2 指数分布

指数分布是描述泊松过程中的事件之间的时间概率分布，即事件一恒定的速率连续且单独地发生的过程，这是Gamma分布和威布尔分布中的一个特殊情况。泊松分布中最大的一个性质就是无记忆性，即如果一个随机变量呈指数分布的话，当$s,t>0$时候均有 P { T > t + s ∣ T > t } = P { T > s } P\{T>t+s|T>t\}=P\{T>s\} P{T>t+s∣T>t}=P{T>s}.随机变量$X$关于指数分布的概率密度函数为：
$$\text{Exponent}(x|\lambda )=\{\begin{array}{ll}\lambda e^{-\lambda x}& ,\text{ if }x>0\\ 0& ,\text{otherwise}\end{array}$$
分布函数为：
$$F(x)=\{\begin{array}{ll}1-e^{-\lambda x}& ,\text{ if }x\ge 0\\ 0& ,\text{otherwise}\end{array}$$

其中$\lambda >0$.若随机变量$X$服从指数分布，则记做$X\sim E(\lambda )$.下面是它的一些性质：
$$\mathbb{E}[x]=\frac{1}{\lambda }$$

$$\text{var}[x]=\frac{1}{{\lambda }^2}$$

$$H[x]=\frac{1}{\lambda }$$

3.2.3 韦布尔(Weibull)分布

韦布尔分布是可靠性分析和寿命检验的理论基础。广泛应用于可靠性工程方面，用于描述机电类产品的磨损累计失效的分布形式，由于利用概率值很容易推断出它的分布参数，所以被广泛使用到各种寿命试验的数据处理。
$$\text{Weibull}(x|\lambda ,k)=\{\begin{array}{ll}\frac{k}{\lambda }(\frac{x}{\lambda }{)}^{k-1}{e}^{-(\frac{x}{\lambda }{)}^k}& ,\text{ if }x\ge 0\\ 0& ,\text{ if }x<0\end{array}$$

其中，$\lambda >0$是比例参数，$k>0$是形状参数。显然，它的累积分布函数是扩展的指数分布函数。特别地，取$k=1$则退化为指数分布函数；$k=2$是瑞利(Rayleigh)分布函数。
性质:
$$\mathbb{E}[x]=\lambda \Gamma (1+\frac{1}{k})$$

$$\text{var}[x]={\lambda }^2[\Gamma (1+\frac{2}{k})-\Gamma (1+\frac{1}{k}{)}^2]$$

$$\text{mode}[x]=\lambda (\text{ln}2{)}^{\frac{1}{k}}$$

$$H[x]=\gamma (1-\frac{1}{k})+\text{ln}(\frac{\lambda }{k})+1$$

其中，$\gamma$是欧拉常数$\gamma ={\int }_1^{\infty }(\frac{1}{\lfloor x\rfloor }-\frac{1}{x})$

$$\text{Skew}[x]=\frac{2\Gamma (1+\frac{1}{k}{)}^3-3\Gamma (1+\frac{2}{k})\Gamma (1+\frac{1}{k})+\Gamma (1+\frac{3}{k})}{[\Gamma (1+\frac{2}{k})-\Gamma (1+\frac{1}{k}{)}^2{]}^{\frac{3}{2}}}$$

$$\text{kurtosis}[x]=\frac{-3\Gamma (1+\frac{1}{k}{)}^4+6\Gamma (1+\frac{2}{k})\Gamma (1+\frac{1}{k}{)}^2-4\Gamma (1+\frac{3}{k})\Gamma (1+\frac{1}{k})+\Gamma (1+\frac{4}{k})}{[\Gamma (1+\frac{2}{k})-\Gamma (1+\frac{1}{k}{)}^2{]}^2}$$
累积分布函数为
$$F(x|\lambda ,k)=\{\begin{array}{ll}1-e^{-(x/\lambda {)}^k}& ,\text{ if }x>0\\ 0& ,\text{ if }x<0\end{array}$$

一般地，Weibull分布表征电气器件失效概率的分布状况，这个与参数$k$具有很大的关联性。

• $k<1$表示故障率随着时间降低。
• $k=1$表示故障率在一段时间内是恒定的，此时简化为指数分布函数
• $k>1$表示故障率会随着时间的增加而增加。该函数首先是凹的，拐点为$\frac{(e^{\frac{1}{k}}-1)}{e^{\frac{1}{k}}},k>1$

概率密度函数以及累积分布函数图像如下所示

3.2.4 瑞利(Rayleigh)分布

当一个随机二维向量的两个分量呈独立的、有着相同方差的正太分布的时候，这个向量的模呈瑞利分布。瑞利分布常常用于描述平坦衰落信号接收包络或独立多径分量接受包络统计时变特性的一种分布类型。两个正交高斯噪声信号之和的包络服从瑞利分布。瑞利分布是Weibull分布中参数$k=2$的特殊情形。
$$\text{Rayleigh}(x|\sigma )=\{\begin{array}{ll}\frac{x}{{\sigma }^2}{e}^{-\frac{x^2}{2{\sigma }^2}}& ,\text{ if }x\ge 0\\ 0& ,\text{ if }x<0\end{array}$$

累积分布函数为
$$F(x|\sigma )=1-e^{\frac{x^2}{2{\sigma }^2}}$$
性质：
$$\mathbb{E}[x]=\sqrt{\frac{\pi }{2}}\sigma$$

$$\text{var}[x]=\frac{4-\pi }{2}{\sigma }^2$$

$$\text{mode}[x]=\sigma$$

$$H[x]=1+\text{ln}(\frac{\sigma }{\sqrt{2}})+\frac{\gamma }{2}$$

其中$\gamma$是欧拉常数。

累积分布函数以及密度分布函数如下所示

3.2.5 正态(Gaussian)分布

正态分布，又称作是高斯(Gaussian)分布，是连续变量中使用最为广泛的概率分布。在一元随机变量$x\in (-\infty ,+\infty )$的情况下，由两个参数控制：均值$\mu \in (-\infty ,+\infty )$和方差${\sigma }^2>0$.变量$X$服从正态分布记做$X\sim N(\mu ,{\sigma }^2)$
$$N(x|\mu ,{\sigma }^2)=\frac{1}{\sqrt{2\pi }\sigma }{e}^{-\frac{(x-\mu {)}^2}{2{\sigma }^2}}$$
$X\sim N(\mu ,\sigma )$

$$\mathbb{E}(x)=\mu$$

$$\text{var}[x]={\sigma }^2$$

$$\text{mode}[x]=\mu$$

$$H[x]=\frac{1}{2}\text{ln}{\sigma }^2+\frac{1}{2}(1+\text{ln}(2\pi ))$$

方差的倒数$\tau =\frac{1}{{\sigma }^2}$称为精度，方差的平方根$\sigma$称为标准差。$\mu$的共轭先验是高斯分布，$\tau$的共轭先验是Gamma分布。如果$\mu$和$\tau$都是未知的，那么它们的联合共轭先验是高斯-Gamma分布。
特别地，随机变量$X$服从$X\sim N(0,1)$，那么称之为服从标准的正态分布，即
$$N(x|0,1)=\frac{1}{\sqrt{2\pi }}{e}^{-\frac{x^2}{2{\sigma }^2}}$$
对于二维情况下，设$D$维向量$x\text{x}x$，那么它的高斯分布是一个$D$维均值向量$\mu$和一个$D\times D$的协方差矩阵$\Sigma$。协方差矩阵一定是对称的、正定的。
$$N(x\text{x}x|\mu ,\Sigma \text{μ,Σ}\mu ,\Sigma )=\frac{1}{\sqrt{(2\pi {)}^D|\Sigma \text{Σ}\Sigma |}}{e}^{-\frac{1}{2}(x\text{x}x-\mu \text{μ}\mu {)}^T{\Sigma \text{Σ}\Sigma }^{-1}(x\text{x}x-\mu \text{μ}\mu )}$$

$$\mathbb{E}[x\text{x}x]=\mu \text{μ}\mu$$

$$\text{cov}[x\text{x}x]=\Sigma \text{Σ}\Sigma$$

$$\text{mode}[x\text{x}x]=\mu \text{μ}\mu$$

$$H[x\text{x}x]=\frac{1}{2}\text{ln}|\Sigma \text{Σ}\Sigma |+\frac{D}{2}(1+\text{ln}(2\pi ))$$

协方差矩阵的逆矩阵$\Lambda \text{Λ}\Lambda ={\Sigma \text{Σ}\Sigma }^{-1}$叫做精度矩阵，它也是对称的、正定的。根据中心极限定理，随机变量的平均值趋近于高斯分布，并且两个高斯变量之和仍然是高斯变量。给定方差(或者协方差)，高斯分布是最大化熵值的分布。高斯随机变量的任意线性组合仍然是高斯分布。多元高斯的变量关于变量的一个子集的边缘分布仍然是高斯分布，类似地，条件分布也是高斯分布。$\mu \text{μ}\mu$的共轭先验仍然是高斯分布，$\Lambda \text{Λ}\Lambda$的共轭先验是一个Wishart分布，$(\mu \text{μ}\mu ,\Lambda \text{Λ}\Lambda )$的共轭先验是高斯-Wishart分布。
Gamma概率密度函数图像如下：

3.2.6 对数(ln)正态分布

对数正态分布是指一个随机变量的对数服从正太分布，在生活实践过程中会有很多数值并不是符合对称性正态分布的，例如人们完成某一项特定任务所需要的时间会得到一个分布，这些值必然都是正数，分布的形状基本满足这样的情形，即有一个无人能及的最小时间，然后是少数一些非常快的“冠军”，接下来就是普通人最具有代表性的高峰，最后是尾部一长串“掉队者”，由于正态分布并不能够很好地描述这样的分布状况，所以提出一种对数正太分布函数。
对数正态分布与正态分布很类似，它的概率分布向右边有所移动，短期来说与正态分布接近，长期来看，对数正态分布向上分布的数值更多一些。换句话来说就是，对数分布函数向上分布波动的可能性大一些，更小向下波动的可能。
假设$X$为取值为正值的连续随机变量，如果$\text{ln}X\sim N(\mu ,{\sigma }^2)$，则$X$的概率密度函数为：
$$\text{logNormal}(x|\mu ,\sigma )=\{\begin{array}{ll}\frac{1}{\sqrt{2\pi }\sigma x}{e}^{-\frac{(\text{ln}x-\mu {)}^2}{2{\sigma }^2}}& ,x>0\\ 0& ,x\le 0\end{array}$$

则称随机变量$X$服从对数正态分布，并记做$\text{ln}X\sim N(\mu ,{\sigma }^2)$
均值和方差为：
$$\mathbb{E}[x]=e^{\mu +\frac{{\sigma }^2}{2}}$$

$$\text{var}[x]=(e^{{\sigma }^2}-1)e^{2\mu +{\sigma }^2}$$

对数正态分布具有以下的性质：
(1) 正太分布经过指数变换之后即为对数正态分布；对数正态分布经过对数变换后为正态分布；
(2) 设$\gamma ,t>0$，$X\sim N(\mu ,{\sigma }^2)$，对于变换$Y=\gamma X^t$，则$\text{ln}Y\sim N(t\mu +\text{ln}\gamma ,t\sigma )$；
(3) 对数正态分布总是向右偏(对数分布函数向上分布波动的可能性大一些，更小向下波动的可能);

3.2.7 Beta分布

这个是连续变量$\mu \in [0,1]$的分布，经常用于表示某些二元事件的概率。它含有两个参数$a$和$b$。为了保证分布能够归一化，我们要求$a>0,b>0$。
$$\text{Beta}(\mu |a,b)=\frac{\Gamma (a+b)}{\Gamma (a)\Gamma (b)}{\mu }^{a-1}(1-\mu {)}^{b-1}$$

$$\mathbb{E}[\mu ]=\frac{a}{a+b}$$

$$\text{var}[\mu ]=\frac{ab}{(a+b{)}^2(a+b+1)}$$

$$\text{mode}[\mu ]=\frac{a-1}{a+b-2}$$

Beta分布是伯努利分布的共轭先验，其中$a$和$b$可以分别表示为$x=1$和$x=0$的观测的有效先验数量。如果$a\ge 1$并且$b\ge 1$，那么它的概率密度是有限值，否则在$\mu =0$和(或)$\mu =1$处会有奇异值。对于$a=b=1$的情形，他就会简化成了均匀分布。Beta分布是$K$状态狄利克雷分布在$K=2$时候的特殊情形。

3.2.8 Gamma分布

Gamma分布是正随机变量$\tau >0$的概率分布，参数为$a$和$b$，满足限制$a>0$和$b>0$，保证概率分布是归一化的。
$$\text{Gam}(\tau |a,b)=\frac{1}{\Gamma (a)}{b}^a{\tau }^{a-1}{e}^{-b\tau }$$

$$\mathbb{E}[\tau ]=\frac{a}{b}$$

$$\text{var}[x]=\frac{a}{b^2}$$

$$\text{mode}[\tau ]=\frac{a-1}{b},\text{ when }a\ge 1$$

$$\mathbb{E}[\text{ln}\tau ]=\psi (a)-\text{ln}b$$

$$H[\tau ]=\text{ln}\Gamma (a)-(a-1)\psi (a)-\text{ln}b+a$$

其中，$\psi (x)$是下面定义的digamma函数：
$$\psi (a)=\frac{d}{da}\text{ln}\Gamma (a)$$

Gamma分布式单变量高斯分布的精度(方差的倒数)的共轭先验。当$a\ge 1$时，概率密度处处为有限值，$a=1$这一个特殊的情况被称作是指数分布。
概率密度函数图像如下所示：

3.2.9 柯西分布

柯西分布是一个数学期望不存在的连续型概率分布，也称作是柯西-洛伦兹分布。其概率密度函数为
$$\text{Cauchy}(x|x_0,\gamma )=\frac{1}{\pi }[\frac{\gamma }{(x-x_0{)}^2+{\gamma }^2}]$$
其中，$x_0$为定义分布峰值位置的位置参数；$\gamma$为最大值一半处的一半宽度的尺度参数。记随机变量$X$服从柯西分布为$X\sim C(\gamma ,x_0)$。特别地，对于参数$\gamma =1,x_0=0$的分布称之为标准的柯西分布，其概率密度函数为
$$C(x|1,0)=\frac{1}{\pi (1+x^2)}$$

对应的累积分布函数为
$$F(x|x_0,\gamma )=\frac{1}{\pi }\arctan (\frac{x-x_0}{\gamma })+\frac{1}{2}$$

特点:
(1) 数学期望、方差、高阶矩均不存在；
(2) 函数的熵为
$$H[x]=\log (4\pi \gamma )$$

(3) 柯西分布具有可加性：设$x_i(i=1,2,3,...,n)$独立同分布，并且$x_i\sim C(\gamma ,x_0)$，$y=\sum _{i=1}^n{x}_i$，则$y\sim C(n\gamma ,n{x}_0)$
(4) 倒数性质：设$x_i\sim C(\gamma ,x_0)$，$y=\frac{1}{x}$，则$y\sim C(\frac{\gamma }{{\gamma }^2+x_0^2},\frac{x_0}{{\gamma }^2+x_0^2})$。
广义柯西分布
设随机变量$X$，如果其概率密度函数为
$$f_m(x|\sigma )=\frac{a_m}{1+(\frac{x^2}{2{\sigma }^2}{)}^m}$$

则称随机变量$X$服从参数为$m$的广义柯西分布，参数$a_m>0.5$是归一化常数。
对比柯西分布可知，$x_0=0,\gamma =\sqrt{2}\sigma ,a_m=\frac{1}{\sqrt{2}\sigma \pi }$

3.2.10 狄利克雷(Dirichlet)分布

狄利克雷分布(Dirichlet)或者称为元Beta分布(Multivariate Beta)是一类在实数域以正单纯形为支撑集的高维连续概率分布，是Beta分布在高维情形下的推广。将狄利克雷分布的解析形式进行推广可以得到广义狄利克雷分布和组合狄利克雷分布。在贝叶斯推断中，狄利克雷分布作为多项式的共轭先验得到应用，在机器学习中被构建狄利克雷混合模型。狄利克雷分布在函数空间内对应的随机过程是狄利克雷过程。
狄利克雷分布是$K$个随机变量$0\le {\mu }_k\le 1$的多变量分布，其中$k=1,...,K$，并且满足以下条件的限制
$$0\le {\mu }_k\le 1,\sum _{k=1}^K=1$$

记$\mu \text{μ}\mu =({\mu }_1,...,{\mu }_K),\alpha \text{α}\alpha =({\alpha }_1,...,{\alpha }_K)$，设
$$\hat{\alpha }=\sum _{k=1}^K{\alpha }_k$$

$$C(\alpha \text{α}\alpha )=\frac{\Gamma (\hat{\alpha })}{\Gamma ({\alpha }_1)...\Gamma ({\alpha }_K)}$$

digamma函数：

$$\psi (a)=\frac{d}{da}\text{ln}\Gamma (a)$$

我们均有
$$\text{Dir}(\mu \text{μ}\mu |\alpha \text{α}\alpha )=C(\alpha \text{α}\alpha )\prod _{k=1}^K{\mu }_k^{{\alpha }_k-1}$$

性质
$$\mathbb{E}[{\mu }_k]=\frac{{\alpha }_k}{\hat{\alpha }}$$

$$\text{var}[{\mu }_k]=\frac{{\alpha }_k(\hat{\alpha }-{\alpha }_k)}{{\hat{\alpha }}_2(\hat{\alpha }+1)}$$

$$\text{cov}[{\mu }_j{\mu }_k]=-\frac{{\alpha }_j{\alpha }_k}{{\hat{\alpha }}_2(\hat{\alpha }+1)}$$

$$\text{mode}[{\mu }_k]=\frac{{\alpha }_k-1}{\hat{\alpha }-K}$$

$$\mathbb{E}[\text{ln}{\mu }_k]=\psi ({\alpha }_k)-\psi (\hat{\alpha })$$

$$H[\mu \text{μ}\mu ]=-\sum _{k=1}^K({\alpha }_k-1)(\psi ({\alpha }_k)-\psi (\hat{\alpha }))$$

为了保证参数的归一化，这里的参数必须满足限制条件${\alpha }_k>0$.狄利克雷分布是多项式分布的共轭先验，是Beta分布的推广。这种情况下，参数${\alpha }_k$是$K$维二元观测向量$x\text{x}x$对应值的有效观测数量。与Beta分布相同，如果对于所有的$k$都有${\alpha }_k\ge 1$，那么狄利克雷分布在空间中所有的位置的密度均为有限值。

3.2.11 Gaussian-Gamma分布

这是一元高斯分布$N(x|,\mu ,{\lambda }^{-1})$的共轭先验，其中均值$\mu$和精度$\lambda$均未知。也称作是正态-Gamma分布。它是精度正比于$\lambda$的$\mu$的高斯分布与$\lambda$的Gamma分布乘积：
$$p(\mu ,\lambda |{\mu }_0,\beta ,a,b)=N(x|,\mu ,(\beta \lambda {)}^{-1})\text{Gam}(\lambda |a,b)$$

3.2.12 Gaussian-Wishart分布

这是多元高斯分布$N(x\text{x}x|\mu \text{μ}\mu ,\Lambda \text{Λ}\Lambda )$的共轭先验，其中均值$\mu \text{μ}\mu$和精度$\Lambda \text{Λ}\Lambda$均未知。这个分布也被称作为正态-Wishart分布。它是精度正比于$\Lambda \text{Λ}\Lambda$的$\mu \text{μ}\mu$的高斯分布与$\Lambda \text{Λ}\Lambda$的Wishart分布乘积
$$p(\mu \text{μ}\mu ,\Lambda \text{Λ}\Lambda |{\mu \text{μ}\mu }_0,\beta ,W\text{W}W,\nu )=N(\mu \text{μ}\mu |{\mu \text{μ}\mu }_0,(\beta \Lambda \text{Λ}\Lambda {)}^{-1})\text{Wishcart}(\Lambda \text{Λ}\Lambda |W\text{W}W,\nu )$$

对于标量$x$的情况，它等价于高斯-Gamma分布。

3.2.13 Von Mises分布

Von Mises 分布，也称作是环形正态分布或者是环形高斯分布，是一元变量$\theta \in [0,2\pi )$的类似高斯的周期分布。
$$p(\theta |{\theta }_0,m)=\frac{1}{2\pi I_0(m)}{e}^{m\cos (\theta -{\theta }_0)}$$

其中$I_0(m)$是零阶第一类Bessel函数：
$$I_0(x)=\sum _{m=0}^{\infty }\frac{(-1{)}^m}{m!\Gamma (m+\alpha +1)}(\frac{x}{2}{)}^{2m}$$

由于分布周期为$2\pi$，所以对于所有的$\theta$都有$p(\theta +2\pi )=p(\theta )$。参数${\theta }_0类似于高斯分布中的均值，$参数$m>0$，被称作concentration参数，类似于高斯分布的精度值。对于充分大的$m$值，此分布函数近似于以${\theta }_0$为中心的高斯分布函数。

3.2.14 Wishart分布

Wishart分布是多元高斯分布的精度矩阵的共轭先验。
$$\text{Wishart}(\Lambda \text{Λ}\Lambda |W\text{W}W,\nu )=B(W\text{W}W,\nu )|\Lambda \text{Λ}\Lambda {|}^{\frac{\nu -D-1}{2}}{e}^{-\frac{1}{2}\text{Tr}({W\text{W}W}^{-1}\Lambda \text{Λ}\Lambda )}$$

其中
$$B(W\text{W}W,\nu )=|W\text{W}W{|}^{-\frac{\nu }{2}}(2^{\frac{\nu D}{2}}{\pi }^{\frac{D(D-1)}{4}}\prod _{i=1}^D\Gamma (\frac{\nu +1-i}{2}){)}^{-1}$$

$$\mathbb{E}[\Lambda \text{Λ}\Lambda ]=\nu W\text{W}W$$

$$\mathbb{E}[\text{ln}|\Lambda \text{Λ}\Lambda |]=\sum _{i=1}^D\psi (\frac{\nu +1-i}{2})+D\text{ln}2+\text{ln}|W\text{W}W|$$

$$H[\Lambda \text{Λ}\Lambda ]=-\text{ln}B(W\text{W}W,\nu )-\frac{\nu -D-1}{2}\mathbb{E}[\text{ln}|\Lambda \text{Λ}\Lambda |]+\frac{\nu D}{2}$$

其中，$W\text{W}W$是一个$D\times D$对称正定矩阵，$\psi (a)$是digamma函数。参数$\nu$被称作为分布的自由度的数量，满足限制$\nu >D-1$，以保证归一化因子中的Gamma函数有着良好的定义。在一维情况下，Wishart分布就变成了公式定义的Gamma分布$\text{Gam}(\lambda |a,b)$，参数为$a=\frac{\nu }{2},b=\frac{1}{2W}$。

3.2.15 Student’t分布

Student‘t分布可以通过以下的方式获得：拿出一元高斯分布的精度的共轭先验，然后吧精度变量积分出来。因而这个分布可以看作是无限多个有着相同均值不同方差的高斯分布的混合。
$$\text{St}(x|\mu ,\lambda ,\nu )=\frac{\Gamma (\frac{\nu }{2}+\frac{1}{2})}{\Gamma (\frac{\nu }{2})}\sqrt{\frac{\lambda }{\pi \nu }}(1+\frac{\lambda (x-\mu {)}^2}{\nu }{)}^{-\frac{\nu }{2}-\frac{1}{2}}$$

$$\mathbb{E}[x]=\mu ,\text{ when }\nu >1$$

$$\text{var}[x]=\frac{1}{\lambda }\frac{\nu }{\nu -2}$$

$$\text{mode}[x]=\mu$$

这里$\nu >0$被称为分布的自由度数量。$\nu =1$的特殊情况是柯西分布。对于一个$D$维变量$x\text{x}x$，Student’t分布是将多元高斯的精度矩阵关于共轭Wishart先验分布的结果，形式为
$$\text{St}(x\text{x}x|\mu \text{μ}\mu ,\Lambda \text{Λ}\Lambda ,\nu )=\frac{\Gamma (\frac{\nu }{2}+\frac{D}{2})}{\Gamma (\frac{\nu }{2})}\frac{\sqrt{|\Lambda \text{Λ}\Lambda |}}{(\nu \pi {)}^{\frac{D}{2}}}(1+\frac{{\Delta }^2}{\nu }{)}^{-\frac{\nu }{2}-\frac{D}{2}}$$

$$\mathbb{E}[x\text{x}x]=\mu \text{μ}\mu ,\text{ when }\nu >2$$

$$\text{cov}[x\text{x}x]=\frac{\nu }{\nu -2}{\Lambda \text{Λ}\Lambda }^{-1}$$

$$\text{mode}[x\text{x}x]=\mu \text{μ}\mu$$

其中，${\Delta }^2$是马氏距离，即
$${\Delta }^2=(x\text{x}x-\mu \text{μ}\mu {)}^T\Lambda \text{Λ}\Lambda (x\text{x}x-\mu \text{μ}\mu )$$

在极限$\nu \to \infty$情况下，Student’t分布简化为均值$\mu \text{μ}\mu$，精度$\Lambda \text{Λ}\Lambda$的高斯分布。Student’t分布提供了对高斯分布泛化的一种形式，这种分布的最大似然参数值对离群点比较鲁棒。

3.2.16 $\zeta (Zipf)分布$

$\zeta$分布，有时候也称为Zipf分布。假设随机变量$X$服从$\zeta$分布，那么它的分布列如下所示
$$P(X=k|\alpha )=\frac{C}{k^{\alpha }}k=1,2,...$$

其中$\alpha >0$为参数，为使得参数归一化，因此有
$$C=[\sum _{k=1}^{\infty }(\frac{1}{k}{)}^{\alpha }{]}^{-1}$$

$\zeta$分布来源于$\zeta$函数，即
$$\zeta (s)=\sum _{k=1}^{\infty }(\frac{1}{k}{)}^s$$

即数学中熟知的黎曼$\zeta$函数。
其中，
$$\mathbb{E}[X]=\frac{\zeta (\alpha )}{\zeta (\alpha -1)}$$

$$\text{var}[X]=\frac{\zeta (\alpha )}{\zeta (\alpha -2)}-[\frac{\zeta (\alpha )}{\zeta (\alpha -1)}{]}^2$$

4. 应用

概率分布函数在很多数学概率理论中有很多应用，包括很多离散随机变量和连续随机变量中。下面就有很多例子和应用。
帕斯卡分布最为经典的问题是巴拿赫火柴盒问题：波兰数学家巴赫随身携带着两盒火柴盒，分别装在两个衣袋里，每次使用时候，便随机地从其中一盒中取出一根。开始的时候每盒有$n$根火柴，现在我们想得到当其中一盒火柴用完，而另外一盒火柴根数$r$的分布规律。

问题是这样解决的，不妨假设数学家能够看到火柴盒里的火柴，并且最后甲盒子为空，假设乙盒子里面最后剩下$r$根火柴，在甲盒子里取了$n$次火柴，在乙盒子里面取了$n-r$次火柴，并且最后一次取火柴是从甲盒子里取出里面最后一根。由于取火柴取火柴也是随机的，因此从甲盒子或者乙盒子取一次火柴的概率是相等的，都是$\frac{1}{2}$，取火柴问题即为$2n-r$次重复、独立的伯努利试验中有$n$次失败，$n-r$次失败，并且最后一次试验是成功的帕斯卡分布，从而有
$$P(2n-r,n,\frac{1}{2})=\left(\genfrac{}{}{0ex}{}{2n-r-1}{n-1}\right)(\frac{1}{2}{)}^{n-1}(\frac{1}{2}{)}^{n-r}(\frac{1}{2}{)}^1=(\genfrac{}{}{0ex}{}{2n-r-1}{n-1})(\frac{1}{2}{)}^{2n-r}$$

由于甲乙两盒子的对称性，所以用完一盒时候另一盒还有$r$根火柴的概率即为上式。
泊松分布也可以在排队理论中使用，关于排队理论中应用在以后的博文中会介绍到，这里限于篇幅不在过多叙述。
在贝叶斯推断中，狄利克雷分布作为多项式分布的共轭先验，被用于多项式分布、二项分布和类型分布中的参数估计。机器学习领域中，狄利克雷分布和广义狄利克雷分布常常用于构建混合模型来处理高维度的聚类和特征赋权等等非监督问题中。特别地，使用狄利克雷分布构建的主题模型，即隐含狄利克雷分布(Latent Dirichlet Allocation,LDA)，进行在自然语言处理中，在之后的博文中将会介绍在自然语言处理中的LDA模型。

柯西分布、WeiBull 分布一般用于电子器件的损耗率、对接受到的杂波信号的依分布建模等等。无线通信技术中，相对指数衰减频道模型，WeiBull 衰减模型对衰减频道建模有着较好的拟合度。
在很多问题中，有些分布函数并不能够很好地描述一些数据分布规律，或多或少会有一些参数上的差异性质。其中解决这个问题一般会加上一些平滑函数来改善这些函数分布规律：

$$f(x)=g(x)\cdot \text{dist}(x)$$

其中，$g(x)$为平滑函数，$\text{dist}$为分布函数。在改进这些分布函数的同时，也要注意到一些分布函数的性质来确定平滑函数中参数。

5. 小结

本文详细介绍了一些概率函数分布，对于每一种概率分布函数都有不同特点和应用途径。在今后的机器学习和深度学习中熟悉并熟练使用这些概率分布函数，以便更好地发挥独特的作用。

6. 参考文献

[1] 概率论教程，钟开莱
[2] 工程数学：概率统计简明教程，同济大学数学系编
[3] 概率论基础教程，Sheldon Ross
[4] Pattern Recognition And Machining Learning Christopher M. Bishop