常见的离散变量概率分布（伯努利分布、二项分布、多项分布、beta分布、dirichlet分布）

密度估计：在给定有限观测集合${\vec{x}}_1,{\vec{x}}_2,...,{\vec{x}}_N$的情况下，对随机变量$\vec{x}$的概率分布$p(\vec{x})$进行建模。假设所有数据点独立同分布，

伯努利分布(bernoulli)

伯努利试验：只有两种结果的单次随机试验，如掷一枚硬币。
伯努利分布（0-1分布、两点分布）：进行一次伯努利试验，表示单个二元变量 x ∈ { 0 , 1 } x\in \{0,1\} x∈{0,1}的分布，使用单个连续变量$\mu \in [0,1]$表示$x=1$的概率。则
$p(x=1|\mu )=\mu ,p(x=0|\mu )=1-\mu$。合并这两个式子为下式：
$Bern(x|\mu )={\mu }^x(1-\mu {)}^{1-x}$。
伯努利分布的均值为$E[x]=\sum Bern(x|\mu )x=\mu$，
方差为$var[x]=E[(x-E(x{)}^2)]=\sum (x-\mu {)}^{2}Bern(x|\mu )=(1-\mu {)}^2\mu +{\mu }^2(1-\mu )=\mu (1-\mu )$，
伯努利分布是单次伯努利试验的观测结果，二项分布是N次独立重复伯努利试验的结果。伯努利分布关于$\mu$的共轭先验是$beta$分布。

二项分布(binomial)

现在进行了N次伯努利试验，得到观察结果 D = { x 1 , x 2 , . . . , x N } D=\{x_1,x_2,...,x_N\} D={x1​,x2​,...,xN​}。则似然函数为
$P(D|\mu )={\prod }_{n=1}^{N}p(x_n|\mu )={\prod }_{n=1}^N{\mu }^{x_n}(1-\mu {)}^{1-x_n}$
对数似然函数为
$lnP(D|\mu )={\sum }_{n=1}^{N}lnp(x_n|\mu )={\sum }_{n=1}^N[x_{n}ln\mu +(1-x_n)ln(1-\mu )]$
对数似然函数对$\mu$求导得
$\frac{\partial lnP(D|\mu )}{\partial \mu }={\sum }_{n=1}^N\frac{x_n}{\mu }-\frac{1-x_n}{1-\mu }={\sum }_{n=1}^N\frac{x_n-\mu }{\mu (1-\mu )}$
令导数等于0，得
${\mu }_{ML}=\frac{1}{N}{\sum }_{n=1}^N{x}_n$
令$m$为N次独立重复试验中$x=1$出现的次数，则
${\mu }_{ML}=\frac{m}{N}$
二项分布给出了$N$次伯努利试验中出现了$m$次$x=1$的概率质量函数：
$Bin(m|N,\mu )={(}_m^N){\mu }^m(1-\mu {)}^{N-m},m=1,2,\dots ,N$，
其中${(}_m^N)=\frac{N!}{m!(N-m)!}$为二项式系数。
二项分布的均值为$E[x]={\sum }_{m=0}^{N}mBin(x|N,\mu )=N\mu$，
方差为$var[x]=N\mu (1-\mu )$
$N=1$时二项分布变为伯努利分布，当$N$很大时近似为高斯（？见PRML686页）。二项分布关于$\mu$的共轭先验是$beta$分布。

beta分布

共轭先验：如果后验分布与先验分布属于同类，则先验分布与后验分布称为共轭分布（conjugate distributions），先验分布称为共轭先验（conjugate prior）。
$Beta(\mu |a,b)=\frac{\Gamma (a+b)}{\Gamma (a)+\Gamma (b)}{\mu }^{a-1}(1-\mu {)}^{b-1},0\le \mu \le 1$
其中$\Gamma$是gamma函数，$\Gamma (x)={\int }_0^{\infty }{\mu }^{x-1}{e}^{-\mu }d\mu$，满足$\Gamma (x+1)=x\Gamma (x)$，$\Gamma (0)=1$。当x为自然数时$\Gamma (x)=(x-1)!$
beta分布满足${\int }_0^{\infty }Beta(\mu |a,b)d\mu =1$
beta分布的均值$E[\mu ]=\frac{a}{a+b}$
方差$Var[\mu ]=\frac{ab}{(a+b{)}^2(a+b+1)}$
后验概率：$p(\mu |m,l,a,b)\propto {\mu }^{a+m-1}(1-\mu {)}^{b+l-1}$，其中$l=N-m$
这是另一个beta分布，写成标准形式为：
$p(\mu |m,l,a,b)=\frac{\Gamma (a+m+b+l)}{\Gamma (a+m)\Gamma (b+l)}{\mu }^{a+m-1}(1-\mu {)}^{b+l-1}$
即二项分布的共轭先验beta分布通过$a\to a+m$和$b\to b+l$得到后验分布。
如果二项分布的先验分布是beta分布，则其后验分布也为beta分布，两者构成共轭分布。作为先验分布的beta分布的参数$a,b$又称为超参数。使用共轭分布的好处是便于从先验分布计算后验分布。

多项分布（multinomial）

单次试验：$p(x|\mu )={\prod }_{k=1}^K{\mu }_k^{x_k}$
其中${\mu }_k\ge 0$，${\sum }_{k=1}^K{\mu }_k=1$
N次试验： D = { x 1 , … , x N } D=\{x_1,\ldots,x_N\} D={x1​,…,xN​}
$p(D|x)={\prod }_{n=1}^N{\prod }_{k=1}^K{\mu }_k^{x_{n}k}={\prod }_{k=1}^K{\mu }_k^{{\sum }_n{x}_{n}k}={\prod }_{k=1}^K{\mu }_k^{m_k}$，其中$m_k={\sum }_n{x}_{nk}$，表示$x_k=1$出现的次数，这也是多项分布的充分统计量。
为了从观察值中估计多项分布的参数，这里构造带限制条件${\sum }_{k=1}^K{\mu }_k=1$的拉格朗日函数：
$L({\mu }_1,\dots ,{\mu }_K,\lambda )=p(D|x)+\lambda ({\sum }_{k=1}^K-1)$
$={\prod }_{k=1}^K{\mu }_k^{m_k}+\lambda ({\sum }_{k=1}^K-1)$
取对数得：
$lnL({\mu }_1,\dots ,{\mu }_K,\lambda )={\sum }_{k=1}^K{m}_{k}ln{u}_k+\lambda ({\sum }_{k=1}^K-1)$
对$u_k$求导得：
$\frac{\partial lnL({\mu }_1,\dots ,{\mu }_K,\lambda )}{\partial {\mu }_k}={\sum }_{k=1}^K\frac{m_k}{{\mu }_k}+\lambda$
令上式=0，得：
${\mu }_k=-\frac{m_k}{\lambda }$
将上式带入${\sum }_{k=1}^K{\mu }_k=1$得：
${\sum }_{k=1}^K-\frac{m_k}{\lambda }=-\frac{{\sum }_{k=1}^K{m}_k}{\lambda }=1$
得$\lambda =-{\sum }_{k=1}^K{m}_k=-N$
则参数$\mu$的最大似然估计${\mu }_k^{ML}=\frac{m_k}{M}$
多项分布：$Multi(m_1,m_2,\dots ,m_K|\mu ,N)={(}_{m_1{m}_2\dots m_K}^N){\prod }_{k=1}^K{\mu }_k^{m_k}$，其中${(}_{m_1{m}_2\dots m_K}^N)={(}_{m_1!m_2!\dots m_K!}^{N!})$是多项式参数，满足${\sum }_{k=1}^K{m}_k=N$
多项分布是一种多元离散随机变量的概率分布，是二项分布的扩展。假设重复进行n次独立随机试验，每次实验可能出现的结果有k种，第i种结果出现的概率为${\mu }_i$，第$i$种结果出现的次数为$m_i$。如果用随机变量$X=(X_1,X_2,\dots ,X_K)$表示试验所有可能出现的次数，其中$X_i$表示第$i$种结果出现的次数，那么随机变量$X$服从多项分布。

Dirichlet分布

若多元连续随机变量$\vec{\mu }=({\mu }_1,\dots ,{\mu }_K)$的概率密度函数为
$p(\mu |\alpha )=\frac{\Gamma ({\alpha }_0)}{\Gamma ({\alpha }_1)\dots \Gamma ({\alpha }_K)}{\prod }_{k=1}^K{\mu }_k^{{\alpha }_k-1}$
其中${\sum }_{k=1}^K{\alpha }_k=1$，${\alpha }_0={\sum }_{k=1}^K{\alpha }_k$
则称随机变量$\mu$服从参数为$\alpha$的狄利克雷分布，记作$\mu \sim Dir(\alpha )$
狄利克雷分布作为多项分布的先验分布时，其后验概率：
$p(\mu |D,\alpha )\propto p(D|\mu )p(\mu |\alpha )\propto {\prod }_{k=1}^K{\mu }_k^{{\alpha }_k+m_k-1}$
这是另一个Dirichlet分布，写成标准的形式为：
$p(\mu |D,\alpha )=Dir(\mu |\alpha +m)=\frac{\Gamma ({\alpha }_0+N)}{\Gamma ({\alpha }_1+m_1)\dots \Gamma ({\alpha }_K+m_K)}{\prod }_{k=1}^K{\mu }_k^{{\alpha }_k+m_k-1}$
如果多项分布的先验分布是狄利克雷分布，则其后验分布也为一个狄利克雷分布，两者构成共轭分布。作为先验分布的狄利克雷分布的参数$\alpha$又称为超参数。狄利克雷后验分布的参数等于狄利克雷先验分布的参数$\alpha =({\alpha }_1,{\alpha }_2,\dots ,{\alpha }_K)$加上多项分布的观测计数$m=(m_1,m_2,\dots ,m_K)$。

总结

• 伯努利分布是二元离散随机变量单次试验的结果
• 二项分布是对二元离散随机变量进行N次独立重复试验的结果
• 贝塔分布是二项分布的共轭先验
• 类别分布是多元离散随机变量单次试验的结果
• 多项分布是二项分布扩展到多元离散随机变量的结果，也是类别分布重复N次的结果
• 狄利克雷分布是多项分布的共轭先验，也是贝塔分布从二元连续随机变量扩展到多元连续随机变量的结果