含有隐变量的概率模型
通过极大化对数似然函数求解概率模型参数
设有概率模型,${X}$ 表示其样本变量,$\Theta$ 表示其参数。
我们知道这个概率模型的形式,又有很多的样本数据($X$ 取值已知),但是却不知道概率模型的具体参数值($\Theta$ 取值未知)。有没有办法求出 $\Theta$ 的取值呢?
早在学习朴素贝叶斯模型的时候,我们就知道:当一个概率模型参数未知,但有一系列样本数据时,可以采用极大似然估计法来估计它的参数。
该概率模型的学习目标是极大化其对数似然函数:
$LL(\Theta|X) = \log{P(X | \Theta)}$
此时,根据 $X$ 直接极大化 $LL(\Theta|X) $ 来求 $\Theta$ 的最优取值即可。
此处的 $X$ 必须是完全数据——也就是样本数据的所有变量的值都是可见且完整的情况下,才可以通过直接极大化对数似然函数来求解参数的值。
含有隐变量的对数似然函数
有的时候,概率模型既含有可以看得见取值的观测变量,又含有直接看不到的隐变量(Hidden Variable,又称潜在变量 Latent Variable)。
设有概率模型,${X}$ 表示其观