李航《统计学习方法》EM算法导出，式9.13详细推导

感觉书中对式子9.13的推导不严谨，补充式子（9-13）完整推导：
对于观测数据Y（不完全数据）关于参数 θ 的对数似然函数：
$$\begin{array}{rl}L(\theta )& =\log P(Y|\theta )=\log \sum _{Z}P(Y,Z|\theta )\\ & =\log \left(\sum _{Z}P(Y|Z,\theta )P(Z|\theta )\right)\end{array}$$
为了通过迭代的方法找出该极大似然函数，我们希望新的估计值θ能使*L(θ)*增加，即
$$L(\theta )>L\left({\theta }^{(i)}\right)$$
为此，考虑两者的差
$$\begin{gathered} L(\theta )-L\left({\theta }^{(i)}\right)=\log \left(\sum _{Z}P(Y|Z,\theta )P(Z|\theta )\right)-\log P\left(Y|{\theta }^{(i)}\right) \\ =\log \left(\frac{{\sum }_{Z}P(Y|Z,\theta )P(Z|\theta )}{P\left(Y|{\theta }^{(i)}\right)}\right) \\ =\log \left(\sum _Z\frac{P(Y|Z,\theta )P(Z|\theta )}{P\left(Y|{\theta }^{(i)}\right)}\right) \\ =\log \left(\sum _{Z}P(Z|Y,{\theta }^{(i)})\frac{P(Y|Z,\theta )P(Z|\theta )}{P\left(Y|{\theta }^{(i)}\right)P(Z|Y,{\theta }^{(i)})}\right) \end{gathered}$$
根据Jenson不等式，有
$$\begin{gathered} L(\theta )-L\left({\theta }^{(i)}\right)=\log \left(\sum _{Z}P(Z|Y,{\theta }^{(i)})\frac{P(Y|Z,\theta )P(Z|\theta )}{P\left(Y|{\theta }^{(i)}\right)P(Z|Y,{\theta }^{(i)})}\right) \\ \ge \sum _{Z}P(Z|Y,{\theta }^{(i)})\log \left(\frac{P(Y|Z,\theta )P(Z|\theta )}{P\left(Y|{\theta }^{(i)}\right)P(Z|Y,{\theta }^{(i)})}\right) \end{gathered}$$
接下来的过程书本很详细了。

附注：Jenson不等式有限形式

若$\Omega$ 是有限集合 { x 1 , x 2 , … , x n } \left\{x_{1}, x_{2}, \ldots, x_{n}\right\} {x1​,x2​,…,xn​} ，而$\mu$ 是$\Omega$ 上的正规计数测度，则不等式的一般形式可以简单地用和式表示：
$$\phi \left(\sum _{i=1}^{n}g\left(x_i\right){\lambda }_i\right)\le \sum _{i=1}^n\phi \left(g\left(x_i\right)\right){\lambda }_i$$
其中${\lambda }_1+{\lambda }_2+\cdots +{\lambda }_n=1,{\lambda }_i\ge 0$
若 $\phi$是凹函数，只需把不等式符号调转

参考链接

• https://zh.wikipedia.org/wiki/延森不等式
• https://zhuanlan.zhihu.com/p/39315786 证明