机器学习中的数学——常用概率分布（二）：范畴分布（Multinoulli分布）

分类目录：《机器学习中的数学》总目录
相关文章：
· 常用概率分布（一）：伯努利分布（Bernoulli分布）
· 常用概率分布（二）：范畴分布（Multinoulli分布）
· 常用概率分布（三）：二项分布（Binomial分布）
· 常用概率分布（四）：均匀分布（Uniform分布）
· 常用概率分布（五）：高斯分布（Gaussian分布）/正态分布（Normal分布）
· 常用概率分布（六）：指数分布（Exponential分布）
· 常用概率分布（七）： 拉普拉斯分布（Laplace分布）
· 常用概率分布（八）：狄拉克分布（Dirac分布）
· 常用概率分布（九）：经验分布（Empirical分布）
· 常用概率分布（十）：贝塔分布（Beta分布）
· 常用概率分布（十一）：狄利克雷分布（Dirichlet分布）
· 常用概率分布（十二）：逻辑斯谛分布（Logistic 分布）

---

范畴分布（Multinoulli分布）是指在具有$k$个不同状态的单个离散型随机变量上的分布，其中$k$是个有限值。Multinoulli分布由向量$p\in [0,1{]}^{k-1}$参数化，其中每一个分量$p$表示第$i$个状态的概率。最后的第$k$个状态的概率可以通过$1-{\sum }_{k-1}{p}_i$给出。注意我们必须限制${\sum }_{k-1}{p}_i\le 1$。

Multinoulli分布经常用来表示对象分类的分布，所以我们很少假设状态1具有数值1之类的。因此，我们通常不需要去计算Multinoulli分布的随机变量的期望和方差。

Bernoulli分布和Multinoulli分布足够用来描述在它们领域内的任意分布。它们能够描述这些分布，不是因为它们特别强大，而是因为它们的领域很简单；它们可以对那些，能够将所有的状态进行枚举的离散型随机变量进行建模。当处理的是连续型随机变量时，会有不可数无限多的状态，所以任何通过少量参数描述的概率分布都必须在分布上加以严格的限制。