EM算法和MM算法

EM算法是机器学习中常用到的优化算法。MM算法与EM算法有联系但是又有区别，简单来说EM算法是MM算法中的一种情况。

1.MM算法

算法的思想是不直接对目标函数求最优化解，转而找到一个目标函数的替代函数，对这个替代函数求解。每迭代一次，根据所求解构造用于下一次迭代的新的替代函数，然后对新的替代函数最优化求解得到下一次迭代的求解。通过多次迭代，可以得到越来越接近目标函数最优解的解。

1.1目标函数最小化问题

此时，MM算法具体为majorize-minimize MM 算法。思想是，每次迭代找到一个目标函数的上界函数，求上界函数的最小值。

举例：

1.2目标函数最大化问题

对应使用minorize maximize MM 算法。思想是，每次迭代找到一个目标函数的下界函数，求下界函数的最大值。

举例：

1.3构造替代函数的一些方法

1.3.1利用凸函数的性质

1.3.2不等式

参考文献：

D. R. Hunter and K. Lange. A tutorial on mm algorithms.The American Statistician, 58(1):30–37, 2004.