极大似然估计和EM算法学习笔记

极大似然估计

估计类条件概率的一种常用策略是先假定其具有某种确定的概率分布形式，再基于训练样本对概率分布的参数进行估计。具体地，记关于类别$c$的类条件概率为$P(x|c)$，假设$P(x|c)$具有确定的形式并且被参数向量${\theta }_c$唯一确定，则我们的任务就是利用训练集$D$估计参数${\theta }_c$。为明确起见，我们将$P(x|c)$记为$P(x|{\theta }_c)$。

令$D_c$表示训练集$D$中第$c$类样本组成的集合，假设这些样本是独立同分布的，则参数${\theta }_c$对于数据集$D_c$的似然是

$$P(D_c|{\theta }_c)=\prod _{x\in D_c}P(x|{\theta }_c).\text{\hspace{1em}(1)}$$

对${\theta }_c$进行极大似然估计，就是去寻找能最大化似然$P(D_c|{\theta }_c)$的参数值${\hat{\theta }}_c$。直观上看，极大似然估计是试图在${\theta }_c$所有可能的取值中，找到一个能使数据出现的“可能性”最大的值。

式(1)中的连乘操作易造成下溢，通常使用对数似然(log-likelihood)

$$\begin{array}{rl}LL({\theta }_c)& =\log P(D_c|{\theta }_c)\\ & =\log \prod _{x\in D_c}P(x|{\theta }_c)\\ & =\sum _{x\in D_c}\log P(x|{\theta }_c),\end{array}\text{\hspace{1em}(2)}$$

式子(2)中取对数的时候直接写的是$\log$，并没有明确地指明这个对数的底数是多少；实际上，只要保证对数是单调递增的就可以了。所以$\log$的底数取$2$或者$10$或者$e$都是可以的，通常是取自然常数$e$为底数。则对数似然可化为：

$$LL({\theta }_c)=\sum _{x\in D_c}\ln P(x|{\theta }_c),\text{\hspace{1em}(3)}$$

此时参数${\theta }_c$的极大似然估计${\hat{\theta }}_c$为

$${\hat{\theta }}_c=\underset{{\theta }_c}{\mathrm{argmax}}LL({\theta }_c).\text{\hspace{1em}(4)}$$

例如，在连续属性情形下，假设概率密度函数$p(x|c)\sim \mathcal{N}({\mu }_c,{\sigma }_c^2)$，则参数${\mu }_c$和${\sigma }_c^2$的极大似然估计为

$${\hat{\mu }}_c=\frac{1}{|D_c|}\sum _{x\in D_c}x,$$

$${\hat{\sigma }}_c^2=\frac{1}{|D_c|}\sum _{x\in D_c}(x-{\hat{\mu }}_c)(x-{\hat{\mu }}_c{)}^{\mathrm{T}}.$$

也就是说，通过极大似然法得到的正态分布均值就是样本均值，方差就是$(x-{\hat{\mu }}_c)(x-{\hat{\mu }}_c{)}^{\mathbf{T}}$的均值，这显然是一个符合直觉的结果。在离散属性情形下，也可通过类似的方式估计类条件概率。

例子

以掷硬币游戏为例，在已知掷出硬币是A还是B的情况下，掷出的结果如图1所示。

图1. 已知情况下掷硬币

如图所示，投掷五次硬币的结果即训练集$D$，则两次投掷硬币$B$的结果即是训练集$D$中第$B$类样本组成的集合$D_B$，假设硬币$B$掷出正面的概率为${\theta }_B$，前后一共掷出20次，则$D_B$是独立同分布的20重伯努利试验结果，设样本 D B = { x 1 , x 2 , . . . , x 20 } D_B=\{x_1,x_2,...,x_{20}\} DB​={x1​,x2​,...,x20​}，则$x_i$的条件概率为

$$P(x_i=正|{\theta }_B)={\theta }_B,$$

$$P(x_i=负|{\theta }_B)=1-{\theta }_B.$$

投掷结果为：

• 正>负>负>负>正>正>负>正>负>正
• 正>负>正>负>负>负>正>正>负>负，

则参数${\theta }_B$对于样本$X$的对数似然为

$$\begin{array}{rl}LL({\theta }_B)& =\ln P(D_B|{\theta }_B)\\ & =\sum _{i=1}^{20}\ln P(x_i|{\theta }_B)\\ & =9\ln {\theta }_B+11\ln (1-{\theta }_B).\end{array}$$

为了求对数似然的极大值，所以对$LL({\theta }_B)$求导，得

$$\frac{dLL({\theta }_B)}{d{\theta }_B}=\frac{9}{{\theta }_B}+\frac{11}{{\theta }_B-1}.$$

令导数为$0$得${\hat{\theta }}_B=0.45$，同理得${\hat{\theta }}_A=0.80$。

EM算法

在前面的讨论中，我们一直假设训练样本所有属性变量的值都已被观测到，即训练样本是"完整"的。但在现实应用中往往会遇到"不完整"的训练样本，例如由于西瓜的根蒂己脱落，无法看出是"蜷缩"还是"硬挺"，则训练样本的"根蒂"属性变量值未知。在这种存在"未观测"变量的情形下，是否仍能对模型参数进行估计呢?

未观测变量的学名是"隐变量"（latent variable）。令$\mathbf{X}$表示己观测变集，$\mathbf{Z}$表示隐变量集，$\Theta$表示模型参数。若欲对$\Theta$做极大似然估计，则应最大化对数似然

$$LL(\Theta |\mathbf{X},\mathbf{Z})=\ln P(\mathbf{X},\mathbf{Z}|\Theta ).\text{\hspace{1em}(5)}$$

然而由于$\mathbf{Z}$是隐变量，上式无法直接求解。此时我们可通过对$\mathbf{Z}$计算期望，来最大化己观测数据的对数“边际似然”（marginal likelihood）

$$LL(\Theta |\mathbf{X},\mathbf{Z})=\ln P(\mathbf{X}|\Theta )=\ln {\sum }_{\mathbf{Z}}P(\mathbf{X},\mathbf{Z}|\Theta ).\text{\hspace{1em}(6)}$$

EM（Expectation-Maximization）算法是常用的估计参数隐变量的利器，它是一种迭代式的方法，其基本想法是：若参数$\Theta$己知，则可根据训练数据推断出最优隐变量$\mathbf{Z}$的值（E步）；反之，若$\mathbf{Z}$的值已知，则可方便地对参数$\Theta$做极大似然估计（M步）。

于是，以初始值${\Theta }^0$为起点，对式(5)，可迭代执行以下步骤直至收敛：

• 基于${\Theta }^t$推断隐变量$\mathbf{Z}$的期望，记为${\mathbf{Z}}^t$；
• 基于已观测变量$\mathbf{X}$和${\mathbf{Z}}^t$对参数$\Theta$做极大似然估计，记为${\Theta }^{t+1}$；

这就是EM算法的原型。

进一步，若我们不是取$\mathbf{Z}$的期望，而是基于${\Theta }^t$计算隐变量$\mathbf{Z}$的概率分布$P(\mathbf{Z}|\mathbf{X},\Theta )$，则EM算法的两个步骤是：

• $\mathbf{E}$步(Expectation)：以当前参数${\Theta }^t$推断隐变量分布$P(\mathbf{Z}|\mathbf{X},{\Theta }^t)$，并计算对数似然$LL(\Theta |\mathbf{X},\mathbf{Z})$关于$\mathbf{Z}$的期望
  $$Q(\Theta |{\Theta }^t)={\mathbb{E}}_{\mathbf{Z}|\mathbf{X},{\Theta }^t}LL(\Theta |\mathbf{X},\mathbf{Z}).\text{\hspace{1em}(7)}$$
• $\mathbf{M}$步（Maximization）：寻找参数最大化期望似然，即
  $${\Theta }^{t+1}=\underset{\Theta }{\mathrm{argmax}}Q(\Theta |{\Theta }^t).\text{\hspace{1em}(8)}$$

简要来说，EM算法使用两个步骤变替计算：第一步是期望(E)步，利用当前估计的参数值来计算对数似然的期望值；第二步是最大化(M)步，寻找能使E步产生的似然期望最大化的参数值。然后，新得到的参数值重新被用于E步，······直至收敛到局部最优解。

例子

以掷硬币游戏为例，在未知掷出硬币是A还是B的情况下，掷出的结果如图2所示。

图2. 未知情况下掷硬币

如图所示，投掷五次硬币的结果即己观测变集 X = { x 1 , x 2 , x 3 , x 4 , x 5 } \mathbf{X}=\{x_1,x_2,x_3,x_4,x_5\} X={x1​,x2​,x3​,x4​,x5​}，五枚硬币分别是$A$还是$B$的分布即隐变量集 Z = { z 1 , z 2 , z 3 , z 4 , z 5 } \mathbf{Z}=\{z_1,z_2,z_3,z_4,z_5\} Z={z1​,z2​,z3​,z4​,z5​}，其中 z i ∈ { A , B } z_i\in\{A,B\} zi​∈{A,B}，硬币$A$或$B$掷出正面的概率为模型参数 Θ = { θ A , θ B } \Theta=\{\theta_A,\theta_B\} Θ={θA​,θB​}表示模型参数， Θ 0 = { θ ^ A ( 0 ) , θ ^ B ( 0 ) } \Theta^0=\{\hat{\theta}^{(0)}_A,\hat{\theta}^{(0)}_B\} Θ0={θ^A(0)​,θ^B(0)​}，其中${\theta }_A^{(0)}=0.60,{\theta }_B^{(0)}=0.50$。

基于${\Theta }^t$计算隐变量$\mathbf{Z}$的概率分布$P(\mathbf{Z}|\mathbf{X},\Theta )$，则EM算法的两个步骤是：

• $\mathbf{E}$步(Expectation)：以当前参数${\Theta }^t$推断隐变量分布$P(\mathbf{Z}|\mathbf{X},{\Theta }^t)$，并计算对数似然$LL(\Theta |\mathbf{X},\mathbf{Z})$关于$\mathbf{Z}$的期望。

例如第一枚硬币的投掷结果为：正>负>负>负>正>正>负>正>负>正，则：

$$\begin{array}{rl}P(z_1=A|x_1,{\Theta }^0)& =\frac{P(z_1=A,x_1|{\Theta }^0)}{P(x_1|{\Theta }^0)}\\ & =\frac{P(z_1=A,x_1|{\Theta }^0)}{P(z_1=A,x_1|{\Theta }^0))+P(z_1=B,x_1|{\Theta }^0))}\\ & =\frac{P(z_1=A|{\Theta }^0)P(x_1|z_1=A,{\Theta }^0)}{P(z_1=A|{\Theta }^0)P(x_1|z_1=A,{\Theta }^0)+P(z_1=B|{\Theta }^0)P(x_1|z_1=B,{\Theta }^0)},\end{array}$$

根据模型中条件独立性假设可得$P(z_1=A|{\Theta }^0)=P(z_1=B|{\Theta }^0)=\frac{1}{2}$，所以上式可化简为

$$\begin{array}{rl}P(z_1=A|x_1,{\Theta }^0)& =\frac{P(x_1|z_1=A,{\Theta }^0)}{P(x_1|z_1=A,{\Theta }^0)+P(x_1|z_1=B,{\Theta }^0)}\\ & =\frac{0.60^{5}0.50^5}{0.60^{5}0.50^5+0.50^{5}0.50^5}\approx 0.45.\end{array}$$

同理$P(z_1=B|x_1,{\Theta }^0)=0.55$，所以对数似然$LL(\Theta |\mathbf{X},\mathbf{Z})$关于$\mathbf{Z}$的期望为

$$\begin{array}{rl}Q(\Theta |{\Theta }^0)& ={\mathbb{E}}_{\mathbf{Z}|\mathbf{X},{\Theta }^0}LL(\Theta |\mathbf{X},\mathbf{Z})\\ & =\sum _i\sum _{z_i}P(z_i|x_i,{\Theta }^0)\ln P(x_i,z_i|\Theta )\\ & =0.45\ast \ln [{\theta }_A^5(1-{\theta }_A{)}^5]+0.55\ast \ln {\theta }_B^5(1-{\theta }_B{)}^5]\\ & +0.80\ast \ln [{\theta }_A^9(1-{\theta }_A{)}^1]+0.20\ast \ln {\theta }_B^9(1-{\theta }_B{)}^1]\\ & +0.73\ast \ln [{\theta }_A^8(1-{\theta }_A{)}^2]+0.27\ast \ln {\theta }_B^8(1-{\theta }_B{)}^2]\\ & +0.35\ast \ln [{\theta }_A^4(1-{\theta }_A{)}^6]+0.65\ast \ln {\theta }_B^4(1-{\theta }_B{)}^6]\\ & +0.65\ast \ln [{\theta }_A^7(1-{\theta }_A{)}^3]+0.35\ast \ln {\theta }_B^7(1-{\theta }_B{)}^3]\\ & =21.24\ln {\theta }_A+8.56\ln (1-{\theta }_A)+11.76\ln {\theta }_B+8.44\ln (1-{\theta }_B).\end{array}$$

• $\mathbf{M}$步（Maximization）：寻找参数最大化期望似然。

例如

$${\Theta }^1=\underset{\Theta }{\mathrm{argmax}}Q(\Theta |{\Theta }^0).$$

为了求对数似然期望的极大值，所以对$Q(\Theta |{\Theta }^0))$求导，得

$$\frac{dQ(\Theta |{\Theta }^0)}{d\Theta }=\frac{21.24}{{\theta }_A}+\frac{8.56}{{\theta }_A-1}+\frac{11.76}{{\theta }_B}+\frac{8.44}{{\theta }_B-1}.$$

令导数为$0$得到${\Theta }^1$，即${\hat{\theta }}_A^{(1)}=0.71,{\hat{\theta }}_B^{(1)}=0.58$。

然后，将得到的${\Theta }^1$重新被用于E步，······EM算法两个步骤变替计算直至收敛到局部最优解${\hat{\theta }}_A^{(10)}=0.80,{\hat{\theta }}_B^{(10)}=0.52$。