版权声明:本文为博主原创文章,转载请注明出处,谢谢! http://blog.csdn.net/jbb0523/article/details/52134630
题目:Majorization-Minimization优化框架
Majorization-Minimization优化框架在各类算法中是很常见的,而且这个思想其实也很容易理解,简单点说,只需文献【1】中的三页PPT即可:
或者用文献【2】中的三页PPT来说明:
注意一点:在迭代过程中,新的目标函数是不断随着迭代点的变化而变化的,这个可以从文献【1】的那个图解过程清晰的看到。
可以看出,Majorization-Minimization流程很简单,关键的问题是如何构建新的目标函数,有关这个问题在文献【2】【3】【4】中都有涉及,这个得具体问题具体分析。
另外,文献【5】将Majorization-Minimization进行了推广,即Generalized MM:
懂得Majorization-Minimization这个优化框架很重要,很多迭代类的算法均基于此,否则无法透彻的理解一些算法。
参考文献:
【1】谷鹄翔.IteratedSoft-ThresholdingAlgorithm[Report,slides]. http://www.sigvc.org/bbs/thread-41-1-2.html
【2】Ying Sun and Daniel P. Palomar. Majorization-Minimization Algorithm: Theory andApplications[slides]. 2015,HongKong. (Available at:http://www.ece.ust.hk/~palomar/ELEC5470_lectures/11/slides_MM_algorithms.pdf)
【3】Lange, K., Hunter, D.R., Yang, I..OptimizationTransfer Using Surrogate Objective Functions[J]. Journal ofComputational &Graphical Statistics, 2000, 9(1):1-20. (Available at:http://sites.stat.psu.edu/~dhunter/papers/ot.pdf)
【4】D. R. Hunter, and K. Lange, ”A Tutorial on MMAlgorithms”, Amer. Statistician, pp. 30-37, 2004. (Available at: http://sites.stat.psu.edu/~dhunter/papers/mmtutorial.pdf)
【5】Parizi S N, He K, Sclaroff S, et al.Generalized Majorization-Minimization[J]. Computer Science, 2015,121(2):95-108. (Available at: http://arxiv.org/pdf/1506.07613.pdf)