Majorization-Minimization (MM) 和 Successive Convex Approximation (SCA)

Majorization-Minimization (MM)

考虑如下优化问题
$$\begin{array}{rl}& \underset{\mathbf{x}}{\min }f(\mathbf{x})\\ & \mathrm{s}.\mathrm{t}.\mathbf{x}\in \mathcal{X}\end{array}$$
其中$\mathcal{X}$是${\mathbb{R}}^n$中的非空闭集，$f:\mathcal{X}\to \mathbb{R}$是一个连续函数。

初始化为${\mathbf{x}}_0\in \mathcal{X}$，MM按如下方式产生一系列可行点序列$({\mathbf{x}}_t{)}_{t\in \mathbb{N}}$：

• 在点${\mathbf{x}}_t$，在Majorization步，构造一个替代函数$g(\cdot |{\mathbf{x}}_t):\mathcal{X}\to \mathbb{R}$，其满足上界特性
  $$g(\mathbf{x}|{\mathbf{x}}_t)\ge f(\mathbf{x})+c_t,\forall \mathbf{x}\in \mathcal{X}$$
  其中$c_t=g({\mathbf{x}}_t|{\mathbf{x}}_t)-f({\mathbf{x}}_t)$，即$g(\cdot |{\mathbf{x}}_t)$和$f$的差值在${\mathbf{x}}_t$处最小。

• 在Minimization步，更新$\mathbf{x}$为
  $${\mathbf{x}}_{t+1}\in {\mathrm{argmin}}_{\mathbf{x}\in \mathcal{X}}g(\mathbf{x}|{\mathbf{x}}_t)$$
  序列$(f({\mathbf{x}}_t){)}_{t\in \mathbb{N}}$是非增的，因为
  $$f({\mathbf{x}}_{t+1})\le g({\mathbf{x}}_{t+1}|{\mathbf{x}}_t)-c_t\le g({\mathbf{x}}_t|{\mathbf{x}}_t)-c_t=f({\mathbf{x}}_t)$$
  收敛性：上式说明了目标函数非增，收敛到一个极限$f^{\ast }$。下一步是建立条件以保证$f^{\ast }$是一个稳定值，且序列$({\mathbf{x}}_t{)}_{t\in \mathbb{N}}$是收敛的（略，详见 [1]）。

Successive Convex Approximation (SCA)

考虑如下优化问题
$$\begin{array}{rl}& \underset{\mathbf{x}}{\min }{f}_0(\mathbf{x})\\ & \mathrm{s}.\mathrm{t}.f_i(\mathbf{x})\le 0,i=1,...,m\end{array}$$
在每次迭代中，可以既近似目标函数$f_0$又近似可行点集 { x ∣ f i ( x ) ≤ 0 , i = 1 , . . . , m } \{ \mathbf{x} | f_i(\mathbf{x})\leq 0,i=1,...,m \} {x∣fi​(x)≤0,i=1,...,m}。在第$t$次迭代中，可以解如下凸优化子问题：

$$\begin{array}{rl}& \underset{\mathbf{x}}{\min }{g}_0(\mathbf{x}|{\mathbf{x}}_t)\\ & \mathrm{s}.\mathrm{t}.g_i(\mathbf{x}|{\mathbf{x}}_t)\le 0,i=1,...,m\end{array}$$
其中$g_i(\cdot |{\mathbf{x}}_t),\forall i=0,...,m$是凸函数，满足：
$$\begin{array}{rl}& g_i({\mathbf{x}}_t|{\mathbf{x}}_t)=f_i({\mathbf{x}}_t)\\ & g_i(\mathbf{x}|{\mathbf{x}}_t)\ge f_i(\mathbf{x})\\ & \nabla g_i({\mathbf{x}}_t|{\mathbf{x}}_t)=\nabla f_i({\mathbf{x}}_t)\end{array}$$

任何收敛序列$({\mathbf{x}}_t{)}_{t\in \mathbb{N}}$的极限是一个KKT点。简而言之，子问题是由原目标函数的上界凸替代函数、可行集内的凸子集近似构造的。
(收敛性：参考文献 [3])。

MM与SCA的对比

相同点：

• 近似函数连续性
• 近似函数和原函数在近似点函数值相同
• 近似函数和原函数在近似点的一阶导数（方向导数）相同

不同点：

• SCA 要求近似函数是凸函数；而MM要求近似函数在近似点是原函数的upper bound（在原函数“上面“）.

参考文献

• [1] Y. Sun, P. Babu and D. P. Palomar, “Majorization-Minimization Algorithms in Signal Processing, Communications, and Machine Learning,” in IEEE Transactions on Signal Processing, vol. 65, no. 3, pp. 794-816, 1 Feb.1, 2017.
• [2] 工程中非凸优化利器: Majorization-Minimization
• [3] 工程中非凸优化利器: Successive Convex Approximation (SCA)