Majorization-Minimization优化框架

版权声明：本文为博主原创文章，转载请注明出处，谢谢！ http://blog.csdn.net/jbb0523/article/details/52134630

题目：Majorization-Minimization优化框架

        Majorization-Minimization优化框架在各类算法中是很常见的，而且这个思想其实也很容易理解，简单点说，只需文献【1】中的三页PPT即可：

        或者用文献【2】中的三页PPT来说明：

        注意一点：在迭代过程中，新的目标函数是不断随着迭代点的变化而变化的，这个可以从文献【1】的那个图解过程清晰的看到。

        可以看出，Majorization-Minimization流程很简单，关键的问题是如何构建新的目标函数，有关这个问题在文献【2】【3】【4】中都有涉及，这个得具体问题具体分析。

        另外，文献【5】将Majorization-Minimization进行了推广，即Generalized MM：

        懂得Majorization-Minimization这个优化框架很重要，很多迭代类的算法均基于此，否则无法透彻的理解一些算法。

参考文献：

【1】谷鹄翔.IteratedSoft-ThresholdingAlgorithm[Report,slides]. http://www.sigvc.org/bbs/thread-41-1-2.html

【2】Ying Sun and Daniel P. Palomar. Majorization-Minimization Algorithm: Theory andApplications[slides]. 2015,HongKong. (Available at:http://www.ece.ust.hk/~palomar/ELEC5470_lectures/11/slides_MM_algorithms.pdf)

【3】Lange, K., Hunter, D.R., Yang, I..OptimizationTransfer Using Surrogate Objective Functions[J]. Journal ofComputational &Graphical Statistics, 2000, 9(1):1-20. (Available at:http://sites.stat.psu.edu/~dhunter/papers/ot.pdf)

【4】D. R. Hunter, and K. Lange, ”A Tutorial on MMAlgorithms”, Amer. Statistician, pp. 30-37, 2004. (Available at: http://sites.stat.psu.edu/~dhunter/papers/mmtutorial.pdf)

【5】Parizi S N, He K, Sclaroff S, et al.Generalized Majorization-Minimization[J]. Computer Science, 2015,121(2):95-108. (Available at: http://arxiv.org/pdf/1506.07613.pdf)