PRML 第二章 多项式分布

1.多项分布的一次事件
随机变量X有三种取值x1，x2，x3，那么用一个三维向量表示多项式的取值就是{1,0,0}，{0,1,0}，{0,0,1}分别代表选中x1，x2，x3，即必须选中一个，同时只能选一个。如果用μk表示xk=1时的概率，那么对于随机变量x的取值的概率分布可以表示为：

上面所讲的这些其实只是多项分布的一次事件（或一次观察），如果有N多次观察，那么就需要用多项分布来描述了。就像伯努利分布只是描述一次抛硬币，而二项分布是描述N次抛硬币的一样。
2. N个独立观测的似然函数
现在考虑⼀个有N个独⽴观测值x1, … , xN的数据集D。对应的似然函数的形式为：
;
其中mk为观测到xk = 1的次数。为找到µ的最⼤似然解，我们需要计算µk最⼤化ln p(D | µ)，同时限制：
。
因此，可以利用 拉格朗日乘数法来求该函数在有条件情况下的极值。构造拉格朗日乘数得：
;

因此：

将上式代入中得到：，所以
3.多项式分布
我们可以考虑m1, … , mK在参数µ和观测总数N条件下的联合分布。这个分布的形式为：

其中：这 被 称 为 多 项 式 分 布。