Majorization-Minimization优化框架

Majorization-Minimization优化框架在各类算法中是很常见的，而且这个思想其实也很容易理解，简单点说，只需文献【1】中的三页PPT即可：

1. 目标函数 $J(x)$ 比较难优化的时候，我们往往寻找另外一个更容易优化的目标函数 $G(x)$，当 $G(x)$ 满足一定条件时，$G(x)$ 的最优解能够无限逼近 $J(x)$ 的最优解，这就是 MM 思想。
2. $G(x)$ 应该满足的三个条件：
    - 易优化
    - $G_k(x)\ge J(x_k)$ for all $x$
    - $G_k(x)=J(x_k)$
3. 我们看看图解过程
   

---

Majorization-Minimization 思想

• 我们再来看看 MM 思想的流程:

1. Set k=0. Initialize $x_0$.
2. Choose $G_k(x)$ such that (a) $G_k(x)\ge J(x_k)$ for all $x$; (b) $G_k(x)=J(x_k)$.
3. Set $x_{k+1}$ as the minimizer of $G_k(x)$
4. Set $k=k+1$ and go to step 2.

• 由 $G_k(x)$ 满足的两个条件我们可以推出如下不等式:

$J(x_{k+1})\le G_k(x_{k+1})\le G_k(x_k)=J(x_k)$

• 上述不等式保证了我们在优化目标函数 $G(x)$ 的过程中，也在不停的优化 $J(x)$.

---

或者另一种说法：

• 考虑到以下优化问题：
  ${\text{minimize}}_{x}f(x),x\in \mathcal{X}$, 其中 $\mathcal{X}$ 是一个闭凸集并且 $f(x)$ 是连续的。

由于 $f(x)$ 太复杂而无法操作，所以我们连续最小化一个逼近函数 $u(x,x^k)$，我们希望最小化序列 { x k } \{x^k\} {xk} 将收敛到最优 $x^{\ast }$。

现在的问题是如何构造 $u(x,x^k)$?
需要满足以下构造规则：

$u(x,y)=f(y),\forall y\in \mathcal{X}$
$u(x,y)\ge f(y),\forall x,y\in \mathcal{X}$
$u^{\prime }(x,y;d){|}_{x=y}=f^{\prime }(y;d),\forall dwithy+d\in \mathcal{X}$
$u^{\prime }(x,y)在x和y处连续$

图示为：

• 专业化最小化（连续上界最小化）：

1. 找到一个可行点 $x^0\in \mathcal{X}，设置k=0$。
2. 重复 $x^{k+1}=\underset{x\in \mathcal{X}}{\mathrm{argmin}}u(x,x^k)，k=k+1$。
3. 直到满足一些收敛准则停止。

【注意】:在迭代过程中，新的目标函数是不断随着迭代点的变化而变化的。

可以看出，Majorization Minimization流程很简单，关键的问题是如何构建新的目标函数。有关这个问题在文献 [2,3,4] 中都有涉及。

另外，文献 [5] 将 Majorization Minimization 进行了推广，即 Generalized MM：

Algorithm 1: G-MM optimization

Input: $w_o,\eta ,ϵ$
1: $v_0:=F(w_0)$
2: for $t:=1,2,\dots$ do
3: select $b_t\in {\mathcal{B}}_t=\mathcal{B}(w_{t-1},v_{t-1})$ as in (4)
4: $w_t:=\underset{w}{\mathrm{argmin}}{b}_t(w)$
5: $d_t:=b_t(w_t)-F(w_t)$
6: $v_t:=b_t(w_t)-\eta d_t$
7: if $d_t<ϵ$ break
8: end for
Output: $w_t$

---

参考文献：

【1】谷鹄翔.IteratedSoft-ThresholdingAlgorithm[Report,slides]. http://www.sigvc.org/bbs/thread-41-1-2.html

【2】Ying Sun and Daniel P. Palomar. Majorization-Minimization Algorithm: Theory andApplications[slides]. 2015,HongKong. (Available at:http://www.ece.ust.hk/~palomar/ELEC5470_lectures/11/slides_MM_algorithms.pdf)

【3】Lange, K., Hunter, D.R., Yang, I…OptimizationTransfer Using Surrogate Objective Functions[J]. Journal ofComputational &Graphical Statistics, 2000, 9(1):1-20. (Available at:http://sites.stat.psu.edu/~dhunter/papers/ot.pdf)

【4】D. R. Hunter, and K. Lange, ”A Tutorial on MMAlgorithms”, Amer. Statistician, pp. 30-37, 2004. (Available at: http://sites.stat.psu.edu/~dhunter/papers/mmtutorial.pdf)

【5】Parizi S N, He K, Sclaroff S, et al.Generalized Majorization-Minimization[J]. Computer Science, 2015,121(2):95-108. (Available at:http://arxiv.org/pdf/1506.07613.pdf)