Multinoulli分布

最近看论文遇到如下分布


由于之前没见过，很费解，查阅资料弄懂了。

• 它其实伯努利分布的维度扩展
  举个例子最容易懂：
  假设现在有事件(通常是互斥的，就是分类问题)A,B,C,D,E,F,G,H,I,J。如果必须给他附上含义，我们假设是动物，即A事件表示狗，以此类推
  那么，该分布就有一个参数pi，指的是这些事件的先验概率
  假如
  P(A)=0.1,
  P(B)=0.1,
  …
  P(I)=0.1

则从该分布中采样其实是一个one_hot向量，假如我们采了一个样，发现是狗P(A),则才出来的样本为[1,0,0,0,…,0]

Multinoulli 分布是多项式分布（multinomial distribution）的一个特例

多项式分布是{0; : : : ; n}k 中的向量的分布，用于表示当对 Multinoulli 分布采样 n 次时 k 个类中的每一个被访问的次数。很多文章使用 “多项式分布’’ 而实际上说的是 Multinoulli 分布，但是他们并没有说是对 n = 1 的情况，这点需要注意。

Multinoulli 分布（multinoulli distribution）或者 范畴分布（categorical distribution）是指在具有 k 个不同状态的单个离散型随机变量上的分布，其中 k 是一个有限值。 2 Multinoulli 分布由向量 p 2 [0; 1]k-1 参数化，其中每一个分量 pi 表示第 i 个状态的概率。最后的第 k 个状态的概率可以通过 1 - 1⊤p 给出。注意我们必须限制 1⊤p ≤ 1。 Multinoulli 分布经常用来表示对象分类的分布，所以我们很少假设状态 1 具有数值 1 之类的。因此，我们通常不需要去计算 Multinoulli 分布的随机变量的期望和方差。

Bernoulli 分布和 Multinoulli 分布足够用来描述在它们领域内的任意分布。它们能够描述这些分布，不是因为它们特别强大，而是因为它们的领域很简单；它们可以对那些，能够将所有的状态进行枚举的离散型随机变量进行建模。当处理的是连续型随机变量时，会有不可数无限多的状态，所以任何通过少量参数描述的概率分布都必须在分布上加以严格的限制。