1.多项分布的一次事件
随机变量X有三种取值x1,x2,x3,那么用一个三维向量表示多项式的取值就是{1,0,0},{0,1,0},{0,0,1}分别代表选中x1,x2,x3,即必须选中一个,同时只能选一个。如果用μk表示xk=1时的概率,那么对于随机变量x的取值的概率分布可以表示为:
上面所讲的这些其实只是多项分布的一次事件(或一次观察),如果有N多次观察,那么就需要用多项分布来描述了。就像伯努利分布只是描述一次抛硬币,而二项分布是描述N次抛硬币的一样。
2. N个独立观测的似然函数
现在考虑⼀个有N个独⽴观测值x1, … , xN的数据集D。对应的似然函数的形式为:
;
其中mk为观测到xk = 1的次数。为找到µ的最⼤似然解,我们需要计算µk最⼤化ln p(D | µ),同时限制:
。
因此,可以利用 拉格朗日乘数法来求该函数在有条件情况下的极值。构造拉格朗日乘数得:
;
因此:
将上式代入中得到:,所以
3.多项式分布
我们可以考虑m1, … , mK在参数µ和观测总数N条件下的联合分布。这个分布的形式为:
其中:这 被 称 为 多 项 式 分 布。