EM算法与SAGE算法

EM算法

最大期望算法（Expectation-Maximization algorithm, EM）

解决的问题：已知分布模型但模型参数待定，存在数据缺失的情况（数据缺失即有隐含参数）

EM算法详解https://zhuanlan.zhihu.com/p/64345620

现在总结一下我们遇到的问题：假如我们想要求得θ，那么我们必须要先知道每个样本z的取值；而如果我们想要知道每个样本z的取值，我们又需要先知道θ才能估算出每个样本z取哪个值的概率最大。

为了解决以上问题，EM算法通过先假设一个θ的值（这里我们记为θ0），估算出每个样本z的取值，这是EM算法的E步

然后用估算出的z值代入上面的似然函数，使其最大化，求出一个新的θ值（这里记为θ1），这是EM算法的M步。

Widar2.0：SAGE算法和SAGE算法在在无线信道参数估计中的应用https://blog.csdn.net/a_beatiful_knife/article/details/116713192总而言之，SAGE算法就是通过索引集的不断变换完成参数分解，把整个最大化问题分解成索引集参数所对应的最大化问题，并通过求解对应的期望函数和最大化函数简化整体最大化问题的复杂度，提高收敛速度。注意：SAGE算法并不保证一定收敛到正确的值处，无论是SAGE还是EM，都求得是局部最优，能否收敛到正确的值，还得看索引集选的好不好、最大化函数选的好不好等。