1. 极大似然
极大似然(Maximum Likelihood)估计为用于已知模型的参数估计的统计学方法。比如,我们想了解抛硬币是正面(head)的概率分布
![](https://i-blog.csdnimg.cn/blog_migrate/e2918013f651930d37d12461f46ef48e.png)
![](https://i-blog.csdnimg.cn/blog_migrate/9526014231cb300f9a18b572ec0a0cf5.png)
![](https://i-blog.csdnimg.cn/blog_migrate/b8c67129c02e3c6577f2a77286556b7d.png)
![](https://i-blog.csdnimg.cn/blog_migrate/14dfee35b05e4e5a4f35539d54abc9a9.png)
![](https://i-blog.csdnimg.cn/blog_migrate/0281e7e7271b522f16f0df448b383ef6.png)
值:
![](https://i-blog.csdnimg.cn/blog_migrate/0281e7e7271b522f16f0df448b383ef6.png)
![](https://i-blog.csdnimg.cn/blog_migrate/4e6d2aeb77159d500247e648c06450f5.png)
![](https://i-blog.csdnimg.cn/blog_migrate/40827a6398fcec6b551562eca003ceb9.png)
![](https://i-blog.csdnimg.cn/blog_migrate/bdb34b9f7e952c2ff426b8a865d932a2.png)
![](https://i-blog.csdnimg.cn/blog_migrate/760c8c5d82982babbf450a8f943b127f.png)
![](https://i-blog.csdnimg.cn/blog_migrate/8e719c16b8806be7e85a74c87dfeac76.png)
![](https://i-blog.csdnimg.cn/blog_migrate/ca5819d9b75fb063080a55d62772bd52.png)
![](https://i-blog.csdnimg.cn/blog_migrate/bdb34b9f7e952c2ff426b8a865d932a2.png)
![](https://i-blog.csdnimg.cn/blog_migrate/6a5d7587c2bba2ff64838bfdf0b67e37.png)
![](https://i-blog.csdnimg.cn/blog_migrate/2ba1316773b156bfd04e23c9c5968dbd.png)
![](https://i-blog.csdnimg.cn/blog_migrate/7582da10a5173004f6af0a1270e3b08d.png)
![](https://i-blog.csdnimg.cn/blog_migrate/9ea9a2d81b5b44bd195fe6c3dc5e24b4.png)
![](https://i-blog.csdnimg.cn/blog_migrate/0281e7e7271b522f16f0df448b383ef6.png)
![](https://i-blog.csdnimg.cn/blog_migrate/9ed0afb572bef457b579d4cf61879e9b.png)
![](https://i-blog.csdnimg.cn/blog_migrate/40827a6398fcec6b551562eca003ceb9.png)
![](https://i-blog.csdnimg.cn/blog_migrate/bdb34b9f7e952c2ff426b8a865d932a2.png)
![](https://i-blog.csdnimg.cn/blog_migrate/760c8c5d82982babbf450a8f943b127f.png)
![](https://i-blog.csdnimg.cn/blog_migrate/8e719c16b8806be7e85a74c87dfeac76.png)
![](https://i-blog.csdnimg.cn/blog_migrate/ca5819d9b75fb063080a55d62772bd52.png)
![](https://i-blog.csdnimg.cn/blog_migrate/bdb34b9f7e952c2ff426b8a865d932a2.png)
![](https://i-blog.csdnimg.cn/blog_migrate/6a5d7587c2bba2ff64838bfdf0b67e37.png)
![](https://i-blog.csdnimg.cn/blog_migrate/2ba1316773b156bfd04e23c9c5968dbd.png)
![](https://i-blog.csdnimg.cn/blog_migrate/0281e7e7271b522f16f0df448b383ef6.png)
![](https://i-blog.csdnimg.cn/blog_migrate/6fbf8d42fa262346165de9f0685ec00a.png)
![](https://i-blog.csdnimg.cn/blog_migrate/9ea9a2d81b5b44bd195fe6c3dc5e24b4.png)
![](https://i-blog.csdnimg.cn/blog_migrate/e2918013f651930d37d12461f46ef48e.png)
![](https://i-blog.csdnimg.cn/blog_migrate/3b6f9759a7abbac935c652e71dc068f2.png)
![](https://i-blog.csdnimg.cn/blog_migrate/0281e7e7271b522f16f0df448b383ef6.png)
![](https://i-blog.csdnimg.cn/blog_migrate/9ed0afb572bef457b579d4cf61879e9b.png)
![](https://i-blog.csdnimg.cn/blog_migrate/83b735baca293efb604041e83fafa479.png)
其中,
![](https://i-blog.csdnimg.cn/blog_migrate/7582da10a5173004f6af0a1270e3b08d.png)
![](https://i-blog.csdnimg.cn/blog_migrate/9ea9a2d81b5b44bd195fe6c3dc5e24b4.png)
![](https://i-blog.csdnimg.cn/blog_migrate/0281e7e7271b522f16f0df448b383ef6.png)
![](https://i-blog.csdnimg.cn/blog_migrate/9ed0afb572bef457b579d4cf61879e9b.png)
求偏导
![](https://i-blog.csdnimg.cn/blog_migrate/b8f946c417018a21ea2c5fd4105bcd28.png)
![](https://i-blog.csdnimg.cn/blog_migrate/7582da10a5173004f6af0a1270e3b08d.png)
![](https://i-blog.csdnimg.cn/blog_migrate/9ea9a2d81b5b44bd195fe6c3dc5e24b4.png)
![](https://i-blog.csdnimg.cn/blog_migrate/0281e7e7271b522f16f0df448b383ef6.png)
![](https://i-blog.csdnimg.cn/blog_migrate/9ed0afb572bef457b579d4cf61879e9b.png)
![](https://i-blog.csdnimg.cn/blog_migrate/b8f946c417018a21ea2c5fd4105bcd28.png)
![](https://i-blog.csdnimg.cn/blog_migrate/0281e7e7271b522f16f0df448b383ef6.png)
![](https://i-blog.csdnimg.cn/blog_migrate/40827a6398fcec6b551562eca003ceb9.png)
![](https://i-blog.csdnimg.cn/blog_migrate/0281e7e7271b522f16f0df448b383ef6.png)
![](https://i-blog.csdnimg.cn/blog_migrate/4382673944bd55d9d783606d60c0342b.png)
![](https://i-blog.csdnimg.cn/blog_migrate/9ea9a2d81b5b44bd195fe6c3dc5e24b4.png)
![](https://i-blog.csdnimg.cn/blog_migrate/e2918013f651930d37d12461f46ef48e.png)
![](https://i-blog.csdnimg.cn/blog_migrate/3b6f9759a7abbac935c652e71dc068f2.png)
![](https://i-blog.csdnimg.cn/blog_migrate/0281e7e7271b522f16f0df448b383ef6.png)
![](https://i-blog.csdnimg.cn/blog_migrate/9ed0afb572bef457b579d4cf61879e9b.png)
![](https://i-blog.csdnimg.cn/blog_migrate/9ea9a2d81b5b44bd195fe6c3dc5e24b4.png)
![](https://i-blog.csdnimg.cn/blog_migrate/b8c67129c02e3c6577f2a77286556b7d.png)
![](https://i-blog.csdnimg.cn/blog_migrate/3b6f9759a7abbac935c652e71dc068f2.png)
![](https://i-blog.csdnimg.cn/blog_migrate/e2918013f651930d37d12461f46ef48e.png)
![](https://i-blog.csdnimg.cn/blog_migrate/9526014231cb300f9a18b572ec0a0cf5.png)
![](https://i-blog.csdnimg.cn/blog_migrate/0281e7e7271b522f16f0df448b383ef6.png)
![](https://i-blog.csdnimg.cn/blog_migrate/9ed0afb572bef457b579d4cf61879e9b.png)
![](https://i-blog.csdnimg.cn/blog_migrate/d8d0c1d317b3c98667a978c084f29c81.png)
![](https://i-blog.csdnimg.cn/blog_migrate/0281e7e7271b522f16f0df448b383ef6.png)
![](https://i-blog.csdnimg.cn/blog_migrate/4e6d2aeb77159d500247e648c06450f5.png)
![](https://i-blog.csdnimg.cn/blog_migrate/40827a6398fcec6b551562eca003ceb9.png)
![](https://i-blog.csdnimg.cn/blog_migrate/9526014231cb300f9a18b572ec0a0cf5.png)
![](https://i-blog.csdnimg.cn/blog_migrate/c07423d870c1baa0abbb30064948b4c0.png)
![](https://i-blog.csdnimg.cn/blog_migrate/b8c67129c02e3c6577f2a77286556b7d.png)
因为似然函数
不是凹函数(concave),求解极大值困难。一般地,使用与之具有相同单调性的log-likelihood,如图所示
凹函数(concave)与凸函数(convex)的定义如图所示:
从图中可以看出,凹函数“容易”求解极大值,凸函数“容易”求解极小值。
2. EM算法
EM算法(Expectation Maximization)是在含有隐变量(latent variable)的模型下计算最大似然的一种算法。所谓隐变量,是指我们没有办法观测到的变量。比如,有两枚硬币A、B,每一次随机取一枚进行抛掷,我们只能观测到硬币的正面与反面,而不能观测到每一次取的硬币是否为A;则称每一次的选择抛掷硬币为隐变量。
用Y表示观测数据,Z表示隐变量;Y和Z连在一起称为完全数据( complete-data ),观测数据Y又称为不完全数据(incomplete-data)。观测数据的似然函数:
![](https://i-blog.csdnimg.cn/blog_migrate/57fb68d31134593780e5c39ebeb66ec7.png)
![](https://i-blog.csdnimg.cn/blog_migrate/9ea9a2d81b5b44bd195fe6c3dc5e24b4.png)
![](https://i-blog.csdnimg.cn/blog_migrate/b61b9c16ee9b9e8a7928d4b4b2ded45b.png)
![](https://i-blog.csdnimg.cn/blog_migrate/bbd8a060df0534aaa474a54c90dab235.png)
![](https://i-blog.csdnimg.cn/blog_migrate/0281e7e7271b522f16f0df448b383ef6.png)
![](https://i-blog.csdnimg.cn/blog_migrate/9ed0afb572bef457b579d4cf61879e9b.png)
![](https://i-blog.csdnimg.cn/blog_migrate/40827a6398fcec6b551562eca003ceb9.png)
![](https://i-blog.csdnimg.cn/blog_migrate/1d353f4eb3430d1be8f5ab01444de2e6.png)
![](https://i-blog.csdnimg.cn/blog_migrate/2f93009d130347a98c9675c10bb21720.png)
![](https://i-blog.csdnimg.cn/blog_migrate/57fb68d31134593780e5c39ebeb66ec7.png)
![](https://i-blog.csdnimg.cn/blog_migrate/9ea9a2d81b5b44bd195fe6c3dc5e24b4.png)
![](https://i-blog.csdnimg.cn/blog_migrate/569bd496fca6b3ff114fccccebfb42f8.png)
![](https://i-blog.csdnimg.cn/blog_migrate/bbd8a060df0534aaa474a54c90dab235.png)
![](https://i-blog.csdnimg.cn/blog_migrate/0281e7e7271b522f16f0df448b383ef6.png)
![](https://i-blog.csdnimg.cn/blog_migrate/9ed0afb572bef457b579d4cf61879e9b.png)
![](https://i-blog.csdnimg.cn/blog_migrate/57fb68d31134593780e5c39ebeb66ec7.png)
![](https://i-blog.csdnimg.cn/blog_migrate/9ea9a2d81b5b44bd195fe6c3dc5e24b4.png)
![](https://i-blog.csdnimg.cn/blog_migrate/b61b9c16ee9b9e8a7928d4b4b2ded45b.png)
![](https://i-blog.csdnimg.cn/blog_migrate/bbd8a060df0534aaa474a54c90dab235.png)
![](https://i-blog.csdnimg.cn/blog_migrate/569bd496fca6b3ff114fccccebfb42f8.png)
![](https://i-blog.csdnimg.cn/blog_migrate/4705aa4ed4b67dc207476fabd1c4cc78.png)
![](https://i-blog.csdnimg.cn/blog_migrate/0281e7e7271b522f16f0df448b383ef6.png)
![](https://i-blog.csdnimg.cn/blog_migrate/9ed0afb572bef457b579d4cf61879e9b.png)
求模型参数的极大似然估计:
![](https://i-blog.csdnimg.cn/blog_migrate/0281e7e7271b522f16f0df448b383ef6.png)
![](https://i-blog.csdnimg.cn/blog_migrate/4e6d2aeb77159d500247e648c06450f5.png)
![](https://i-blog.csdnimg.cn/blog_migrate/40827a6398fcec6b551562eca003ceb9.png)
![](https://i-blog.csdnimg.cn/blog_migrate/bdb34b9f7e952c2ff426b8a865d932a2.png)
![](https://i-blog.csdnimg.cn/blog_migrate/760c8c5d82982babbf450a8f943b127f.png)
![](https://i-blog.csdnimg.cn/blog_migrate/8e719c16b8806be7e85a74c87dfeac76.png)
![](https://i-blog.csdnimg.cn/blog_migrate/ca5819d9b75fb063080a55d62772bd52.png)
![](https://i-blog.csdnimg.cn/blog_migrate/bdb34b9f7e952c2ff426b8a865d932a2.png)
![](https://i-blog.csdnimg.cn/blog_migrate/6a5d7587c2bba2ff64838bfdf0b67e37.png)
![](https://i-blog.csdnimg.cn/blog_migrate/2ba1316773b156bfd04e23c9c5968dbd.png)
![](https://i-blog.csdnimg.cn/blog_migrate/25feb8b6c1c3aa342207921972100db5.png)
![](https://i-blog.csdnimg.cn/blog_migrate/8fc10b9690603498492b55f77600c79c.png)
![](https://i-blog.csdnimg.cn/blog_migrate/8e719c16b8806be7e85a74c87dfeac76.png)
![](https://i-blog.csdnimg.cn/blog_migrate/57fb68d31134593780e5c39ebeb66ec7.png)
![](https://i-blog.csdnimg.cn/blog_migrate/9ea9a2d81b5b44bd195fe6c3dc5e24b4.png)
![](https://i-blog.csdnimg.cn/blog_migrate/b61b9c16ee9b9e8a7928d4b4b2ded45b.png)
![](https://i-blog.csdnimg.cn/blog_migrate/bbd8a060df0534aaa474a54c90dab235.png)
![](https://i-blog.csdnimg.cn/blog_migrate/0281e7e7271b522f16f0df448b383ef6.png)
![](https://i-blog.csdnimg.cn/blog_migrate/9ed0afb572bef457b579d4cf61879e9b.png)
因为含有隐变量,此问题无法求解。因此,Dempster等人提出EM算法用于迭代求解近似解。EM算法比较简单,分为两个步骤:
- E步(E-step),以当前参数
![](https://i-blog.csdnimg.cn/blog_migrate/569bd496fca6b3ff114fccccebfb42f8.png)
- 的期望值
![](https://i-blog.csdnimg.cn/blog_migrate/23c0e88ea2e322abd7d91725e43fa85c.png)
![](https://i-blog.csdnimg.cn/blog_migrate/9ea9a2d81b5b44bd195fe6c3dc5e24b4.png)
![](https://i-blog.csdnimg.cn/blog_migrate/0281e7e7271b522f16f0df448b383ef6.png)
![](https://i-blog.csdnimg.cn/blog_migrate/4705aa4ed4b67dc207476fabd1c4cc78.png)
![](https://i-blog.csdnimg.cn/blog_migrate/0281e7e7271b522f16f0df448b383ef6.png)
![](https://i-blog.csdnimg.cn/blog_migrate/544508939ba782d1cc59ec2498bf3f15.png)
![](https://i-blog.csdnimg.cn/blog_migrate/5dd6ad9677a32c1c974a5401b7307d2e.png)
![](https://i-blog.csdnimg.cn/blog_migrate/9b316b45faf090ca0a633dbc25daf9da.png)
![](https://i-blog.csdnimg.cn/blog_migrate/9ed0afb572bef457b579d4cf61879e9b.png)
![](https://i-blog.csdnimg.cn/blog_migrate/40827a6398fcec6b551562eca003ceb9.png)
![](https://i-blog.csdnimg.cn/blog_migrate/52f35cebbc2cac8eb339429b13e73023.png)
![](https://i-blog.csdnimg.cn/blog_migrate/2f93009d130347a98c9675c10bb21720.png)
![](https://i-blog.csdnimg.cn/blog_migrate/6bd562a8a8a936339a0a125e6b4c0c53.png)
![](https://i-blog.csdnimg.cn/blog_migrate/25feb8b6c1c3aa342207921972100db5.png)
![](https://i-blog.csdnimg.cn/blog_migrate/8fc10b9690603498492b55f77600c79c.png)
![](https://i-blog.csdnimg.cn/blog_migrate/8e719c16b8806be7e85a74c87dfeac76.png)
![](https://i-blog.csdnimg.cn/blog_migrate/57fb68d31134593780e5c39ebeb66ec7.png)
![](https://i-blog.csdnimg.cn/blog_migrate/9ea9a2d81b5b44bd195fe6c3dc5e24b4.png)
![](https://i-blog.csdnimg.cn/blog_migrate/b61b9c16ee9b9e8a7928d4b4b2ded45b.png)
![](https://i-blog.csdnimg.cn/blog_migrate/4705aa4ed4b67dc207476fabd1c4cc78.png)
![](https://i-blog.csdnimg.cn/blog_migrate/a64514c9553b7a3820b79f568d22ca5c.png)
![](https://i-blog.csdnimg.cn/blog_migrate/bbd8a060df0534aaa474a54c90dab235.png)
![](https://i-blog.csdnimg.cn/blog_migrate/0281e7e7271b522f16f0df448b383ef6.png)
![](https://i-blog.csdnimg.cn/blog_migrate/9ed0afb572bef457b579d4cf61879e9b.png)
![](https://i-blog.csdnimg.cn/blog_migrate/bbd8a060df0534aaa474a54c90dab235.png)
![](https://i-blog.csdnimg.cn/blog_migrate/b61b9c16ee9b9e8a7928d4b4b2ded45b.png)
![](https://i-blog.csdnimg.cn/blog_migrate/4705aa4ed4b67dc207476fabd1c4cc78.png)
![](https://i-blog.csdnimg.cn/blog_migrate/0281e7e7271b522f16f0df448b383ef6.png)
![](https://i-blog.csdnimg.cn/blog_migrate/544508939ba782d1cc59ec2498bf3f15.png)
![](https://i-blog.csdnimg.cn/blog_migrate/5dd6ad9677a32c1c974a5401b7307d2e.png)
![](https://i-blog.csdnimg.cn/blog_migrate/9b316b45faf090ca0a633dbc25daf9da.png)
![](https://i-blog.csdnimg.cn/blog_migrate/b283dda68754c3de4bff12d9bae674a8.png)
- M步(M-step),求使
![](https://i-blog.csdnimg.cn/blog_migrate/0281e7e7271b522f16f0df448b383ef6.png)
![](https://i-blog.csdnimg.cn/blog_migrate/5946ac4ddf024c90425c78bbce6ceae4.png)
![](https://i-blog.csdnimg.cn/blog_migrate/6f76ad74e4e3523c5effb945aaa077a6.png)
![](https://i-blog.csdnimg.cn/blog_migrate/e2918013f651930d37d12461f46ef48e.png)
![](https://i-blog.csdnimg.cn/blog_migrate/0281e7e7271b522f16f0df448b383ef6.png)
![](https://i-blog.csdnimg.cn/blog_migrate/544508939ba782d1cc59ec2498bf3f15.png)
![](https://i-blog.csdnimg.cn/blog_migrate/5dd6ad9677a32c1c974a5401b7307d2e.png)
![](https://i-blog.csdnimg.cn/blog_migrate/bc892b316a31902c1d30b96f3d9e685f.png)
![](https://i-blog.csdnimg.cn/blog_migrate/5afff27d9a807ba051985c56928d4f50.png)
![](https://i-blog.csdnimg.cn/blog_migrate/9b316b45faf090ca0a633dbc25daf9da.png)
![](https://i-blog.csdnimg.cn/blog_migrate/0281e7e7271b522f16f0df448b383ef6.png)
![](https://i-blog.csdnimg.cn/blog_migrate/544508939ba782d1cc59ec2498bf3f15.png)
![](https://i-blog.csdnimg.cn/blog_migrate/5dd6ad9677a32c1c974a5401b7307d2e.png)
![](https://i-blog.csdnimg.cn/blog_migrate/bc892b316a31902c1d30b96f3d9e685f.png)
![](https://i-blog.csdnimg.cn/blog_migrate/5afff27d9a807ba051985c56928d4f50.png)
![](https://i-blog.csdnimg.cn/blog_migrate/9b316b45faf090ca0a633dbc25daf9da.png)
![](https://i-blog.csdnimg.cn/blog_migrate/40827a6398fcec6b551562eca003ceb9.png)
![](https://i-blog.csdnimg.cn/blog_migrate/bdb34b9f7e952c2ff426b8a865d932a2.png)
![](https://i-blog.csdnimg.cn/blog_migrate/760c8c5d82982babbf450a8f943b127f.png)
![](https://i-blog.csdnimg.cn/blog_migrate/8e719c16b8806be7e85a74c87dfeac76.png)
![](https://i-blog.csdnimg.cn/blog_migrate/ca5819d9b75fb063080a55d62772bd52.png)
![](https://i-blog.csdnimg.cn/blog_migrate/bdb34b9f7e952c2ff426b8a865d932a2.png)
![](https://i-blog.csdnimg.cn/blog_migrate/6a5d7587c2bba2ff64838bfdf0b67e37.png)
![](https://i-blog.csdnimg.cn/blog_migrate/2ba1316773b156bfd04e23c9c5968dbd.png)
![](https://i-blog.csdnimg.cn/blog_migrate/23c0e88ea2e322abd7d91725e43fa85c.png)
![](https://i-blog.csdnimg.cn/blog_migrate/9ea9a2d81b5b44bd195fe6c3dc5e24b4.png)
![](https://i-blog.csdnimg.cn/blog_migrate/0281e7e7271b522f16f0df448b383ef6.png)
![](https://i-blog.csdnimg.cn/blog_migrate/4705aa4ed4b67dc207476fabd1c4cc78.png)
![](https://i-blog.csdnimg.cn/blog_migrate/0281e7e7271b522f16f0df448b383ef6.png)
![](https://i-blog.csdnimg.cn/blog_migrate/544508939ba782d1cc59ec2498bf3f15.png)
![](https://i-blog.csdnimg.cn/blog_migrate/5dd6ad9677a32c1c974a5401b7307d2e.png)
![](https://i-blog.csdnimg.cn/blog_migrate/9b316b45faf090ca0a633dbc25daf9da.png)
![](https://i-blog.csdnimg.cn/blog_migrate/9ed0afb572bef457b579d4cf61879e9b.png)
如此迭代直至算法收敛。关于算法的推导及收敛性证明,可参看李航的《统计学习方法》及Andrew Ng的《CS229 Lecture notes》。这里有一些极大似然以及EM算法的生动例子。
3. 实例
[2]中给出极大似然与EM算法的实例。如图所示,有两枚硬币A、B,每一个实验随机取一枚抛掷10次,共5个实验,我们可以观测到每一次所取的硬币,估计参数A、B为正面的概率
,根据极大似然估计求解
如果我们不能观测到每一次所取的硬币,只能用EM算法估计模型参数,算法流程如图所示:
隐变量
为每次实验中选择A或B的概率,则第一个实验选择A的概率为
![](https://i-blog.csdnimg.cn/blog_migrate/57fb68d31134593780e5c39ebeb66ec7.png)
![](https://i-blog.csdnimg.cn/blog_migrate/9ea9a2d81b5b44bd195fe6c3dc5e24b4.png)
![](https://i-blog.csdnimg.cn/blog_migrate/52ac678f573087fb0fa9d686594890fa.png)
![](https://i-blog.csdnimg.cn/blog_migrate/5afff27d9a807ba051985c56928d4f50.png)
![](https://i-blog.csdnimg.cn/blog_migrate/40827a6398fcec6b551562eca003ceb9.png)
![](https://i-blog.csdnimg.cn/blog_migrate/94c8576b4bacc9c98e63c49444c05d73.png)
![](https://i-blog.csdnimg.cn/blog_migrate/bbd8a060df0534aaa474a54c90dab235.png)
![](https://i-blog.csdnimg.cn/blog_migrate/6ed70225f2c1f1f23a2943d0af421ad2.png)
![](https://i-blog.csdnimg.cn/blog_migrate/5afff27d9a807ba051985c56928d4f50.png)
![](https://i-blog.csdnimg.cn/blog_migrate/4705aa4ed4b67dc207476fabd1c4cc78.png)
![](https://i-blog.csdnimg.cn/blog_migrate/0281e7e7271b522f16f0df448b383ef6.png)
![](https://i-blog.csdnimg.cn/blog_migrate/544508939ba782d1cc59ec2498bf3f15.png)
![](https://i-blog.csdnimg.cn/blog_migrate/ad747e7f399d6ac91fabb49da56e63ed.png)
![](https://i-blog.csdnimg.cn/blog_migrate/9b316b45faf090ca0a633dbc25daf9da.png)
![](https://i-blog.csdnimg.cn/blog_migrate/9ed0afb572bef457b579d4cf61879e9b.png)
![](https://i-blog.csdnimg.cn/blog_migrate/40827a6398fcec6b551562eca003ceb9.png)
![](https://i-blog.csdnimg.cn/blog_migrate/57fb68d31134593780e5c39ebeb66ec7.png)
![](https://i-blog.csdnimg.cn/blog_migrate/9ea9a2d81b5b44bd195fe6c3dc5e24b4.png)
![](https://i-blog.csdnimg.cn/blog_migrate/52ac678f573087fb0fa9d686594890fa.png)
![](https://i-blog.csdnimg.cn/blog_migrate/5afff27d9a807ba051985c56928d4f50.png)
![](https://i-blog.csdnimg.cn/blog_migrate/40827a6398fcec6b551562eca003ceb9.png)
![](https://i-blog.csdnimg.cn/blog_migrate/94c8576b4bacc9c98e63c49444c05d73.png)
![](https://i-blog.csdnimg.cn/blog_migrate/bbd8a060df0534aaa474a54c90dab235.png)
![](https://i-blog.csdnimg.cn/blog_migrate/6ed70225f2c1f1f23a2943d0af421ad2.png)
![](https://i-blog.csdnimg.cn/blog_migrate/5afff27d9a807ba051985c56928d4f50.png)
![](https://i-blog.csdnimg.cn/blog_migrate/4705aa4ed4b67dc207476fabd1c4cc78.png)
![](https://i-blog.csdnimg.cn/blog_migrate/0281e7e7271b522f16f0df448b383ef6.png)
![](https://i-blog.csdnimg.cn/blog_migrate/544508939ba782d1cc59ec2498bf3f15.png)
![](https://i-blog.csdnimg.cn/blog_migrate/ad747e7f399d6ac91fabb49da56e63ed.png)
![](https://i-blog.csdnimg.cn/blog_migrate/9b316b45faf090ca0a633dbc25daf9da.png)
![](https://i-blog.csdnimg.cn/blog_migrate/9ed0afb572bef457b579d4cf61879e9b.png)
![](https://i-blog.csdnimg.cn/blog_migrate/57fb68d31134593780e5c39ebeb66ec7.png)
![](https://i-blog.csdnimg.cn/blog_migrate/9ea9a2d81b5b44bd195fe6c3dc5e24b4.png)
![](https://i-blog.csdnimg.cn/blog_migrate/52ac678f573087fb0fa9d686594890fa.png)
![](https://i-blog.csdnimg.cn/blog_migrate/5afff27d9a807ba051985c56928d4f50.png)
![](https://i-blog.csdnimg.cn/blog_migrate/40827a6398fcec6b551562eca003ceb9.png)
![](https://i-blog.csdnimg.cn/blog_migrate/94c8576b4bacc9c98e63c49444c05d73.png)
![](https://i-blog.csdnimg.cn/blog_migrate/bbd8a060df0534aaa474a54c90dab235.png)
![](https://i-blog.csdnimg.cn/blog_migrate/6ed70225f2c1f1f23a2943d0af421ad2.png)
![](https://i-blog.csdnimg.cn/blog_migrate/5afff27d9a807ba051985c56928d4f50.png)
![](https://i-blog.csdnimg.cn/blog_migrate/4705aa4ed4b67dc207476fabd1c4cc78.png)
![](https://i-blog.csdnimg.cn/blog_migrate/0281e7e7271b522f16f0df448b383ef6.png)
![](https://i-blog.csdnimg.cn/blog_migrate/544508939ba782d1cc59ec2498bf3f15.png)
![](https://i-blog.csdnimg.cn/blog_migrate/ad747e7f399d6ac91fabb49da56e63ed.png)
![](https://i-blog.csdnimg.cn/blog_migrate/9b316b45faf090ca0a633dbc25daf9da.png)
![](https://i-blog.csdnimg.cn/blog_migrate/9ed0afb572bef457b579d4cf61879e9b.png)
![](https://i-blog.csdnimg.cn/blog_migrate/6f76ad74e4e3523c5effb945aaa077a6.png)
![](https://i-blog.csdnimg.cn/blog_migrate/57fb68d31134593780e5c39ebeb66ec7.png)
![](https://i-blog.csdnimg.cn/blog_migrate/9ea9a2d81b5b44bd195fe6c3dc5e24b4.png)
![](https://i-blog.csdnimg.cn/blog_migrate/52ac678f573087fb0fa9d686594890fa.png)
![](https://i-blog.csdnimg.cn/blog_migrate/5afff27d9a807ba051985c56928d4f50.png)
![](https://i-blog.csdnimg.cn/blog_migrate/40827a6398fcec6b551562eca003ceb9.png)
![](https://i-blog.csdnimg.cn/blog_migrate/9eb38a0b49b5020491b4d134f7a66f6b.png)
![](https://i-blog.csdnimg.cn/blog_migrate/bbd8a060df0534aaa474a54c90dab235.png)
![](https://i-blog.csdnimg.cn/blog_migrate/6ed70225f2c1f1f23a2943d0af421ad2.png)
![](https://i-blog.csdnimg.cn/blog_migrate/5afff27d9a807ba051985c56928d4f50.png)
![](https://i-blog.csdnimg.cn/blog_migrate/4705aa4ed4b67dc207476fabd1c4cc78.png)
![](https://i-blog.csdnimg.cn/blog_migrate/0281e7e7271b522f16f0df448b383ef6.png)
![](https://i-blog.csdnimg.cn/blog_migrate/544508939ba782d1cc59ec2498bf3f15.png)
![](https://i-blog.csdnimg.cn/blog_migrate/ad747e7f399d6ac91fabb49da56e63ed.png)
![](https://i-blog.csdnimg.cn/blog_migrate/9b316b45faf090ca0a633dbc25daf9da.png)
![](https://i-blog.csdnimg.cn/blog_migrate/9ed0afb572bef457b579d4cf61879e9b.png)
![](https://i-blog.csdnimg.cn/blog_migrate/40827a6398fcec6b551562eca003ceb9.png)
![](https://i-blog.csdnimg.cn/blog_migrate/9526014231cb300f9a18b572ec0a0cf5.png)
![](https://i-blog.csdnimg.cn/blog_migrate/c07423d870c1baa0abbb30064948b4c0.png)
![](https://i-blog.csdnimg.cn/blog_migrate/df0a4dd3909b42076fea1bb7b2d04641.png)
![](https://i-blog.csdnimg.cn/blog_migrate/8b7b009fddf4d2ec9c1517fc3d9656da.png)
![](https://i-blog.csdnimg.cn/blog_migrate/0c7061d39f38591e65a354730c17889f.png)
![](https://i-blog.csdnimg.cn/blog_migrate/9526014231cb300f9a18b572ec0a0cf5.png)
![](https://i-blog.csdnimg.cn/blog_migrate/c07423d870c1baa0abbb30064948b4c0.png)
![](https://i-blog.csdnimg.cn/blog_migrate/7bfc97dbbdccbcac5621ef7608906afd.png)
![](https://i-blog.csdnimg.cn/blog_migrate/8b7b009fddf4d2ec9c1517fc3d9656da.png)
![](https://i-blog.csdnimg.cn/blog_migrate/9526014231cb300f9a18b572ec0a0cf5.png)
![](https://i-blog.csdnimg.cn/blog_migrate/c07423d870c1baa0abbb30064948b4c0.png)
![](https://i-blog.csdnimg.cn/blog_migrate/df0a4dd3909b42076fea1bb7b2d04641.png)
![](https://i-blog.csdnimg.cn/blog_migrate/8b7b009fddf4d2ec9c1517fc3d9656da.png)
![](https://i-blog.csdnimg.cn/blog_migrate/0c7061d39f38591e65a354730c17889f.png)
![](https://i-blog.csdnimg.cn/blog_migrate/9526014231cb300f9a18b572ec0a0cf5.png)
![](https://i-blog.csdnimg.cn/blog_migrate/c07423d870c1baa0abbb30064948b4c0.png)
![](https://i-blog.csdnimg.cn/blog_migrate/7bfc97dbbdccbcac5621ef7608906afd.png)
![](https://i-blog.csdnimg.cn/blog_migrate/8b7b009fddf4d2ec9c1517fc3d9656da.png)
![](https://i-blog.csdnimg.cn/blog_migrate/6f76ad74e4e3523c5effb945aaa077a6.png)
![](https://i-blog.csdnimg.cn/blog_migrate/9526014231cb300f9a18b572ec0a0cf5.png)
![](https://i-blog.csdnimg.cn/blog_migrate/c07423d870c1baa0abbb30064948b4c0.png)
![](https://i-blog.csdnimg.cn/blog_migrate/d026b0eee8e48fd389eb8af6e4813405.png)
![](https://i-blog.csdnimg.cn/blog_migrate/5afff27d9a807ba051985c56928d4f50.png)
![](https://i-blog.csdnimg.cn/blog_migrate/ad747e7f399d6ac91fabb49da56e63ed.png)
![](https://i-blog.csdnimg.cn/blog_migrate/40827a6398fcec6b551562eca003ceb9.png)
![](https://i-blog.csdnimg.cn/blog_migrate/9526014231cb300f9a18b572ec0a0cf5.png)
![](https://i-blog.csdnimg.cn/blog_migrate/c07423d870c1baa0abbb30064948b4c0.png)
![](https://i-blog.csdnimg.cn/blog_migrate/7bfc97dbbdccbcac5621ef7608906afd.png)
![](https://i-blog.csdnimg.cn/blog_migrate/d026b0eee8e48fd389eb8af6e4813405.png)
按照上面的计算方法可依次求出隐变量
![](https://i-blog.csdnimg.cn/blog_migrate/0281e7e7271b522f16f0df448b383ef6.png)
![](https://i-blog.csdnimg.cn/blog_migrate/544508939ba782d1cc59ec2498bf3f15.png)
![](https://i-blog.csdnimg.cn/blog_migrate/5dd6ad9677a32c1c974a5401b7307d2e.png)
![](https://i-blog.csdnimg.cn/blog_migrate/9b316b45faf090ca0a633dbc25daf9da.png)
。经过10次迭代,最终收敛。
4. 参考资料
[1] 李航,《统计学习方法》.
[2] Chuong B Do & Serafim Batzoglou, What is the expectation maximization algorithm?
[3] Pieter Abbeel, Maximum Likelihood (ML), Expectation Maximization (EM).
[4] Rudan Chen,【机器学习算法系列之一】EM算法实例分析.