《统计学习方法》-EM算法引例的说明

最近在哥们在看统计学习方法的时候，对于EM算法的引例子9.1中三硬币模型有疑问，于是我做了相应的整理和推导，希望对机器学习爱好者有所帮助，共勉。

 

例子大概是这样的：

       假设有3枚硬币，分别记作A，B,C，这些硬币正面出现的概率分布分别是PI，p和q，进行如下的硬币是实验：先投掷硬币A，根据其结果选出硬币B和C,正面选B,反面选C;然后投掷选出的硬币，出现正面记作1，出现方面记作0，独立地重复n次实验（这里n=10），观测结果如下：

                                   1,1,0,1,0,0,1,0,1,1

假设只能观测投掷硬币的结果，不能观测投掷硬币的过程，如何估计三硬币正面出现的概率，即三硬币模型的参数：

 

解：设y代表观测变量，其可取值为1，0；

z表示未观察到的投掷硬币A的结果，即隐变量；

表示模型参数；

分析其过程大概如下图所示：

由此可知其实随机变量y在给定随机变量z的情况下服从0-1分布。即随机变量y的概率分布为：

本题可转换成求解：

后面的证明看李航老师的《统计学习方法》就可以了，这里只是把比较隐蔽的求解过程演示下。