机器学习之概率分布2

机器学习-概率分布-多项式分布

上面介绍了伯努利分布，下面接着介绍一种更为复杂的情况。本质上伯努利分布描述的是抛硬币的过程，现在我们考虑掷骰子的情况。骰子有六面，每一面的点数分别为：$1,2,3,4,5,6$。一般情况下，我们投骰子每一面的概率都是一样的——都是$\frac{1}{6}$。但也有特殊的情况，曾经有段时间，香港电影流行赌博主题的电影（《赌神》，不小心暴露的年龄…），里面有一个很low的老千，在骰子上做了手脚，使得某一面出现的概率增大。言归正传，我们假设每一面的出现的概率是不一样的。这一类型的概率分布充为多项式分布

这里我们引入一种one-hot的表示形式。设$\mathbf{x}$为$K$维向量，其中只有一个维度的值为$1$，其余为$0$。设$x_k$表示向量$\mathbf{x}$的第$k$维，比如只有第三维的值$x_3$为$1$，那么$\mathbf{x}=(0,0,1,0,0,0)^T$。对应掷骰子的情况。$(1,0,0,0,0,0)^T$表示第1面，$(0,1,0,0,0,0)^T$表示第2面，…，依次类推。设每一面出现的概率为$u_k$，$u_k$满足$0\leq u_k\leq1,\sum_{k=1}^Ku_k=1$。那么投掷一次骰子，变量$\mathbf{x}$的概率为：

$$p(\mathbf{x}|\mathbf{u})=\prod_{k=1}^Ku_k^{x_k}$$

设有$N$个服从该分布的样本$\mathcal{D}=\big\{\mathbf{x}_1,\mathbf{x}_2,\cdots,\mathbf{x}_N\big\}$，那么概率似然为：

$$p(\mathcal{D}|\mathbf{\mu})=\prod_{n=1}^Np(\mathbf{x}_n|\mathbf{u})=\prod_{n=1}^N\prod_{k=1}^Ku_k^{x_{nk}}=\prod_{k=1}^Ku_k^{\sum_{n=1}^Nx_{nk}}$$
上式中， $x_{nk}$表示 $\mathbf{x}_n$的第 $k$维。
同样的，通过最大化对数似然$\ln p(\mathcal{D}|\mathbf{u})$可以求得参数 $\mathbf{u}$。当然由于 $\mathbf{u}$需满足 $\sum_{k=1}^Ku_k=1$，因此可以引入拉格朗日乘子。
$$\sum_{k=1}^K\big(\sum_{n=1}^Nx_{nk}\big)\ln u_k+\lambda(\sum_{k=1}^Ku_k-1)$$
上式对 $u_k$求导，并令其为0，可得：
$$u_k=-\frac{\sum_{n=1}^Nx_{nk}}{\lambda}$$
考虑到约束 $\sum_{k=1}^Ku_k=1$，可得到：
$$\lambda=-\sum_{n=1}^N\sum_{k=1}^Kx_{nk}=-N$$
所以：
$$u_k=\frac{\sum_{n=1}^Nx_{nk}}{N}$$
用python来实现上述的参数估计过程，用scipy包中的multinomial分布来生成样本，再根据这些样本估计multinomial分布的参数。实现起来还是非常容易的。

代码

估计伯努利分布的参数：

from scipy.stats import multinomial
import numpy
X=multinomial.rvs(n=1,p=[0.4,0.5,0.1],size=100000) #根据伯努利分布来生成样本#
u = numpy.mean(X,axis=0);#用样本来估计参数#
print(u)