【机器学习中的数学】多项式分布及其共轭分布

多项变量(Multinomial Variables)

二元变量是用来描述只有两种可能值的量，而当我们遇到一种离散变量，其可以有K种可能的状态。我们可以使用一个K维的向量x表示，其中只有一维xk为1，其余为0。对应于xk=1的参数为μk，表示xk发生时的概率。其分布可以看做是伯努利分布的一般化。
现在我们考虑N个独立的观测D={x1,…,xN}，得到其似然函数。如图：

多项式分布(The Multinomial distribution)

现在我们考虑k个变量的联合分布，依赖于参数μ和N次观测，这就构成了多项式分布。

狄利克雷分布(The DIrichlet distribution)

为了方便起见，如果先验分布和似然函数有类似的结构，这样得到的后验分布就只是指数幂的参数的相加，但形式没有太大变化，这样就使得先验和后验分布有相同的形式，简化了计算。

下面是三个变