weixin_43409704的博客

原创 EM算法与变分推断

一、EM算法 目的：找到含有潜变量模型的极大似然解 应用背景：对于某些数据直接估计模型参数较为困难，但通过引入潜变量可以降低模型的求解难度。但引入潜变量后怎样来求解？——EM算法。 1. 直观感受EM算法 对对数似然函数log⁡P(X∣θ)\log P(X|\theta)logP(X∣θ)有log⁡P(X∣θ)=log⁡∑ZP(X,Z∣θ)\log P(X|\theta)=\log \sum_Z{P(X,Z|\theta)}logP(X∣θ)=log∑Z​P(X,Z∣θ)，这样处理的目的是为了引入潜变量，但