概率论之机器学习常用概率分布

1 基本概念

  1）随机变量$x$：表示一个不确定的值，例如抛硬币的结果，或者所测量的温度。在观察时，某些值出现的概率更高，这种信息由$x$的概率分布$Pr(x)$决定。特别的，对于连续型随机变量，可通过概率密度函数 (PDF)来量化。
  2）联合概率：假设两个随机变量$x$和$y$。若观察$x$和$y$的多个成对实例，结果显示某些组合出现更为频繁，即$x$和$y$的联合概率分布，记作$Pr(x,y)$。以此推广到多维：$Pr(\mathbf{x})$，其中$\mathbf{x}=[x_1,x_2,\cdots ,x_k{]}^{\mathrm{T}}$。
  3）边缘化：任何单变量的概率分布都可以通过在联合概率分布上求离散变量的和或者连续变量的积分 (边缘化) 得到。例如已知连续变量$x$、离散变量$y$以及$Pr(x,y)$，则有：
$$\begin{gathered} Pr(x)=\sum _{y}Pr(x,y) \\ Pr(y)=\int Pr(x,y)\mathrm{d}x \end{gathered}$$  4）条件概率：给定$y$的情况下$x$的相对概率，记作$Pr(x|y)$，其与联合概率的关系如下：
$$Pr(x,y)=Pr(x|y)Pr(y)=Pr(y|x)Pr(x)$$当随机变量较多时，则可不断使用上述公式进行分解。
  5）贝叶斯公式：基于条件概率，$Pr(x|y)Pr(y)=Pr(y|x)Pr(x)$，整理如下：
$$\begin{array}{rl}Pr(y\mid x)& =\frac{Pr(x\mid y)Pr(y)}{Pr(x)}\\ & =\frac{Pr(x\mid y)Pr(y)}{\int Pr(x,y)\mathrm{d}y}\\ & =\frac{\mathrm{Pr}(x\mid y)Pr(y)}{\int Pr(x\mid y)Pr(y)\mathrm{d}y}\end{array}$$以上三个式子统称为贝叶斯公式，其中$Pr(y|x)$称为后验概率；$Pr(y)$称为先验概率；$Pr(x|y)$称为似然性；$Pr(x)$称为证据。
  6）独立性：如果$x$不能获得$y$的任何信息 (反之亦然)，就称$x$和$y$是独立的，表示如下：
$$\begin{gathered} Pr(x|y)=Pr(x) \\ Pr(y|x)=Pr(y) \end{gathered}$$  7）期望：离散及连续随机变量$x$的函数$f[\cdot ]$的期望分布定义如下：
$$\begin{gathered} \mathrm{E}[f[x]]=\sum _{x}f[x]Pr(x) \\ \mathrm{E}[f[x]]=\int f[x]Pr(x)\mathrm{d}x \end{gathered}$$推广到二元随机变量，则有：
$$\mathrm{E}[f[x,y]]=\iint f[x,y]Pr(x,y)\mathrm{d}x\mathrm{d}y$$对于某些特殊的函数，期望也被赋予特殊的名字，如下表：

函数$f[\cdot ]$	期望
$x$	均值${\mu }_k$
$x^k$	关于0的第$k$阶矩阵
$(x-{\mu }_x{)}^k$	关于均值的第$k$阶矩阵
$(x-{\mu }_x{)}^2$	方差
$(x-{\mu }_x{)}^3$	偏差
$(x-{\mu }_x{)}^4$	峰度
$(x-{\mu }_x)(y-{\mu }_y)$	$x$和$y$的协方差

  期望的四条性质如下：

1. 随机变量$x$是常数$k$：
   $$\mathrm{E}[k]=k$$
2. $$\mathrm{E}[kf[x]]=k\mathrm{E}[f[x]]$$
3. $$\mathrm{E}[f[x]+g[x]]=\mathrm{E}[f[x]]+\mathrm{E}[g[x]]$$
4. $x$和$y$独立时：
   $$\mathrm{E}[f[x]g[x]]=\mathrm{E}[f[x]]\mathrm{E}[g[x]]$$

2 常用概率分布

  概率分布$Pr(x)$的选择取决于$x$的定义域，常用的概率分布如下表：

数据类型	定义域	分布
单变量，离散，二值	x ∈ { 0 , 1 } x \in \{0, 1\} x∈{0,1}	伯努利分布
单变量，离散，多值	x ∈ { 1 , 2 , ⋯   , K } x \in \{ 1, 2, \cdots, K \} x∈{1,2,⋯,K}	分类分布
单变量，连续，无界	$x\in \mathbf{R}$	一元正态分布
单变量，连续，有界	$x\in [0,1]$	贝塔分布
多变量，连续，无界	$\mathbf{x}\in {\mathbf{R}}^K$	多元正态分布
多变量，连续，有界，和为1	$$\begin{gathered} \mathbf{x}={\left[x_1,x_2,\cdots ,x_K\right]}^{\top } \\ {x}_k\in [0,1],{\sum }_{k=1}^K{x}_k=1 \end{gathered}$$	狄利克雷分布
双变量，连续，$x_1$无界，$x_2$有下界	$\begin{array}{l}\mathbf{x}=[x_1,x_2]\\ x_1\in \mathbf{R}\\ x_2\in {\mathbf{R}}^{+}\end{array}$	正态逆伽马分布
无界向量$\mathbf{x}$和正定方阵$\mathbf{X}$	$\begin{array}{l}x\in {\mathbf{R}}^K\\ \mathbf{X}\in {\mathbf{R}}^{K\times K}\\ {\mathbf{z}}^{\mathrm{T}}\mathbf{X}\mathbf{z}>0\forall \mathbf{z}\in {\mathbf{R}}^K\end{array}$	正态逆维希特分布

当拟合数据的概率模型时，需要知道拟合的不确定性。该不确定性用拟合模型参数的概率分布来表示。因此对于建模的各种分布，另有一个与参数联系的概率分布表，如下：

分布	参数分布
伯努利分布	贝塔分布
分类分布	狄利克雷分布
一元正态分布	正态逆伽马分布
多元正态分布	正态逆维希特分布

2.1 伯努利分布

  伯努利分布是二项试验的一个离散分布模型：描述的结果 x ∈ { 0 , 1 } x \in \{ 0, 1 \} x∈{0,1}，称为“失败”和“成功”，如下图。

  伯努利分布只有一个超参数，定义成功一次 ($x=1$)的概率，即：
$$\begin{array}{l}Pr(x=0)=1-\lambda \\ Pr(x=1)=\lambda \end{array}$$或者表示为：
$$Pr(x)={\lambda }^x(1-\lambda {)}^{1-x}={\mathrm{B}\mathrm{e}\mathrm{r}\mathrm{n}}_x[\lambda ]$$

2.2 贝塔分布

  贝塔分布是由单变量$\lambda =[0,1]$定义的连续分布，适合表示伯努利分布中参数$\lambda$的不确定性。
  贝塔分布包含两个参数，即$(\alpha ,\beta )\in [0,\infty ]$，其形式为：
$$Pr(\lambda )=\frac{\Gamma [\alpha +\beta ]}{\Gamma [\alpha ]\Gamma [\beta ]}{\lambda }^{\alpha -1}(1-\lambda {)}^{\beta -1}={\mathrm{B}\mathrm{e}\mathrm{t}\mathrm{a}}_{\lambda }[\alpha ,\beta ]$$其中$\Gamma [z]$为伽马函数，其定义且近似如下：
$$\Gamma [z]={\int }_0^{\infty }{t}^{z-1}{\mathrm{e}}^{-t}\mathrm{d}t\approx (z-1)!$$

  一个示例如下图：

  绘制代码如下：

lambda = 0 : 0.01 : 1;
plot(subplot(1, 3, 1), lambda, f(10, 10),lambda, f(2, 2), lambda, f(1, 1), lambda, f(0.5, 0.5), lambda, f(0.1, 0.1));
plot(subplot(1, 3, 2), lambda, f(4, 12),lambda, f(2, 6), lambda, f(1, 3), lambda, f(0.5, 1.5), lambda, f(0.25, 0.75));
plot(subplot(1, 3, 3), lambda, f(12, 4),lambda, f(6, 2), lambda, f(3, 1), lambda, f(1.5, 0.5), lambda, f(0.75, 0.25));


function [p] = f(a, b)
    lambda = 0 : 0.01 : 1;
    for i = 1 : size(lambda, 2)
        p(i) = gamma(a + b) * lambda(i)^(a - 1) * (1 - lambda(i))^(b - 1) / gamma(a) / gamma(b);
    end
end

2.3 分类分布

  分类分布是一个离散分布，表示$k$个可能结果的概率。特别的，伯努利分布是一个特殊的分类分布。
  分类分布的形式如下：
$$Pr(x=k)={\lambda }_k=\mathrm{C}\mathrm{a}\mathrm{t}[\mathbf{\lambda }]$$其中${\lambda }_k\in [0,1]$，${\sum }_{k=1}^K{\lambda }_k=1$。

2.4 狄利克雷分布

   狄利克雷分布定义在$K$个连续值${\lambda }_1,\cdots ,{\lambda }_K$上，其中${\lambda }_k\in [0,1]$，${\sum }_{k=1}^K{\lambda }_k=1$，适用于定义分类分布中的参数的分布。
  在$K$维空间中，狄利克雷分布有$K$个正参数${\alpha }_1,\cdots ,{\alpha }_K$，参数的相对值决定期望值$\mathrm{E}[{\lambda }_1],\cdots ,\mathrm{E}[{\lambda }_K]$，参数的绝对值决定期望值两侧的集中程度，记为：
$$Pr({\lambda }_{1\cdots K})=\frac{\Gamma \left[\sum _{k=1}^K{\alpha }_k\right]}{\prod _{k=1}^K\Gamma \left[{\alpha }_k\right]}\prod _{k=1}^K{\lambda }_k^{{\alpha }_k-1}={\mathrm{D}\mathrm{i}\mathrm{r}}_{{\lambda }_1\cdots K}\left[{\alpha }_1\cdots K\right]$$特别的，贝塔分布是一个特殊的狄利克雷分布。

2.5 一元正态分布

  一元正态分布又称高斯分布，参数为均值$\mu$和方差${\sigma }^2$，分布决定峰值的位置与宽度，其形式如下：
$$Pr(x)=\frac{1}{\sqrt{2\pi {\sigma }^2}}\exp \left[-0.5\frac{(x-\mu {)}^2}{{\sigma }^2}\right]={\mathrm{N}\mathrm{o}\mathrm{r}\mathrm{m}}_x[\mu ,{\sigma }^2]$$  一个示例如下图：

2.6 正态逆伽马分布

  正态逆伽马分布有四个参数：$\alpha ,\beta ,\lambda ,\sigma$，其中前三个参数需大于0，$\sigma$则可取任意值；其形式如下：
$$Pr\left(\mu ,{\sigma }^2\right)=\frac{\sqrt{\gamma }}{\sigma \sqrt{2\pi }}\frac{{\beta }^a}{\Gamma [\alpha ]}{\left(\frac{1}{{\sigma }^2}\right)}^{a+1}\exp \left[-\frac{2\beta +\gamma (\delta -\mu {)}^2}{2{\sigma }^2}\right]={\mathrm{N}\mathrm{o}\mathrm{r}\mathrm{m}\mathrm{I}\mathrm{n}\mathrm{v}\mathrm{G}\mathrm{a}\mathrm{m}}_{\mu ,{\sigma }^2}[\alpha ,\beta ,\lambda ,\sigma ]$$

2.7 多元正态分布

  多元正态分布是将一元正态分布推广到多为的结果，其形式如下：
$$Pr(\mathbf{x})=\frac{1}{(2\pi {)}^{D/2}|\mathbf{\Sigma }{|}^{1/2}}\exp \left[-0.5(\mathbf{x}-\mathbf{\mu }{)}^{\mathrm{T}}{\mathbf{\Sigma }}^{-1}(\mathbf{x}-\mathbf{\mu })\right]={\mathrm{N}\mathrm{o}\mathrm{r}\mathrm{m}}_x[\mathbf{\mu },\mathbf{\Sigma }]$$其中$\mathbf{\mu }$是$D$维均值向量，$\mathbf{\Sigma }$是$D\times D$的协方差矩阵，$D$是$\mathbf{x}$的维度。

2.8 正态逆维希特分布

  这里只给出其形式：
$$Pr(\mathbf{\mu },\mathbf{\Sigma })=\frac{{\gamma }^{D/2}|\mathbf{\Psi }{|}^{a/2}|\mathbf{\Sigma }{|}^{-(\alpha +D+2)/2}\exp \left[-0.5\left(\mathrm{Tr}\left[\mathbf{\Psi }{\mathbf{\Sigma }}^{-1}\right]+\gamma (\mathbf{\mu }-\mathbf{\delta }{)}^{\top }{\mathbf{\Sigma }}^{-1}(\mathbf{\mu }-\mathbf{\delta }){\gamma }^{D/2}\right)\right]}{2^{\alpha D/2}(2\pi {)}^{D/2}{\Gamma }_D[\alpha /2]}={\mathrm{N}\mathrm{o}\mathrm{r}\mathrm{I}\mathrm{W}\mathrm{i}\mathrm{s}}_{\mu \cdot \Sigma }[\alpha ,\Psi ,\gamma ,\mathbf{\delta }]$$

2.9 共轭性

  贝塔分布可以用于定于伯努利分布中参数的分布，狄利克雷分布可以定义分类分布参数的分布，这样的关系称为共轭。当把一个分布与其共轭分布相乘时，结果正比于一个新的分布，例如：
$${\mathrm{Bern}}_x[\lambda ]\cdot {\mathrm{Beta}}_{\lambda }[\alpha ,\beta ]=k(x,\alpha ,\beta )\cdot {\mathrm{Beta}}_{\alpha }[\tilde{\alpha },\tilde{\beta }]$$