第33课：EM算法——估计含有隐变量的概率模型的参数

含有隐变量的概率模型

通过极大化对数似然函数求解概率模型参数

设有概率模型，${X}$ 表示其样本变量，$\Theta$ 表示其参数。

我们知道这个概率模型的形式，又有很多的样本数据（$X$ 取值已知），但是却不知道概率模型的具体参数值（$\Theta$ 取值未知）。有没有办法求出 $\Theta$ 的取值呢？

早在学习朴素贝叶斯模型的时候，我们就知道：当一个概率模型参数未知，但有一系列样本数据时，可以采用极大似然估计法来估计它的参数。

该概率模型的学习目标是极大化其对数似然函数：

$LL(\Theta|X) = \log{P(X | \Theta)}$

此时，根据 $X$ 直接极大化 $LL(\Theta|X) $ 来求 $\Theta$ 的最优取值即可。

此处的 $X$ 必须是完全数据——也就是样本数据的所有变量的值都是可见且完整的情况下，才可以通过直接极大化对数似然函数来求解参数的值。

含有隐变量的对数似然函数

有的时候，概率模型既含有可以看得见取值的观测变量，又含有直接看不到的隐变量（Hidden Variable，又称潜在变量 Latent Variable）。

设有概率模型，${X}$ 表示其观测变量集合，$Z$ 表示其隐变量集合，$\Theta$ 表示该模型参数。

注意：$ {X}$ 和 $Z$ 合在一起被称为完全数据（Complete-data），仅有 $X$ 称为不完全数据（Incomplete-data）。