机器学习中常见的概率分布

这篇博客主要整理的是指数族分布

高斯分布

首先当然是高斯分布（Gaussian distribution），也叫正态分布（normal distribution）。

这是最著名也是最常用的分布了。

用均值和方差可以描述高斯，下图为高斯分布。

高斯分布在机器学习中应用十分广泛。一般情况下，我们往往假设数据符合高斯分布。比如，当数据符合高斯分布时，最大似然和最小二乘法等价。

当数据分布比较复杂，高斯分布不足以描述时，我们常常使用混合高斯分布（Mixture Gaussian distribution），也就是组合使用多个高斯分布。下图混合了三个方差相同、均值不同的高斯分布。

 

伯努利分布（类别分布）

机器学习最常见的使用场景之一是分类问题。如果我们将一个数据点属于某个分类记为1，不属于某个分类记为0。那么，由于该数据点要么属于某个分类，要么不属于某个分类，两者必居其一，因此该数据点的分类要么是1，要么是0. 这符合伯努利分布（Bernoulli distribution）。因此，伯努利分布也是机器学习中的常用分布。

形式化的定义为：

若随机变量的取值仅有1和0，（相应的概率为θ和1 - θ），那么该随机变量满足伯努利分布，遵循以下概率分布函数：

 

二项分布（多项式分布）

相应地，只有两个可能结果的随机试验称为伯努利试验（Bernoulli trial）。一系列独立的n项伯努利试验的结果满足二项分布（Binomial distribution）。实际上，当n=1时，二项分布即为伯努利分布。

贝塔分布

上面的伯努利分布和二项分布都是离散概率分布。当我们需要处理连续概率分布时，常常使用贝塔分布（Beta distribution）。

 

贝塔分布是定义在[0, 1]区间上的连续概率分布。而[0, 1]恰好是概率的取值范围（0%到100%）。这也就意味着，贝塔分布适应用来描述概率的概率分布——也就是先验，你不知道具体的概率，但对概率的分布有一些猜测。

狄利克雷分布（Dirichlet 分布）还叫多元Beta分布（multivariate Beta distribution）

伽玛分布（Gamma 分布）

伽玛分布（Gamma Distribution）是统计学的一种连续概率函数，是概率统计中一种非常重要的分布。“指数分布”和“χ2分布”都是伽马分布的特例。

Gamma分布中的参数α称为形状参数（shape parameter），β称为逆尺度参数。 

这篇博客写的蛮好的，懒得整理了https://blog.csdn.net/chenshulong/article/details/79027103，

下面是分布的形状: