Matrix Rank Minimization with Application精简版

问题陈述

Rank Minimization Problem (RMP):
$$\begin{gathered} \min \text{rank}(X) \\ \text{s.t.}X\in C \end{gathered}$$
其中$X\in {\mathbb{R}}^{m\times n}$是自变量，$C$ 是一个凸集。

• 该问题是一个NP-hard问题
• 引起广泛应用
• 需要找到参数少、低阶、低复杂度的简单模型

方法

Exact methods

特殊情况下的解析解（SVD，EV）

$$\begin{gathered} \min \text{rank}(X) \\ \text{s.t.}\Vert X-A{\Vert }_{2,F}\le b \end{gathered}$$

• solution：A是缺失大量值的矩阵，X是将缺失值补全的矩阵
  • A的奇异值分解的 r 个最大项的和， ${\sigma }_{r+1}\le b$下 r 个最小的数.
• applications：因子分析、MDS、阵列信号处理、子空间方法、…

能简化为凸问题的特殊情况

一般情况：全局优化（分支和边界）

• impractical for problem sizes of interest

Heuristic methods

分解法

• idea: $\text{rank}(X)\le r$ iff $\exists F,G$ s.t. $X=FG$, where $F\in {\mathbb{R}}^{m\times r},G\in {\mathbb{R}}^{r\times n}$
• comments:
  • a. 要求用户提供的初始点——non-trivial
  • b. 根据经验，它的性能比其他方法差

交替投影：

• idea: 交替投影到 秩不变和约束集的 一系列矩阵上。
• comments:
  • a. 要求用户提供的初始点——non-trivial
  • b. 通常需要大量的迭代（100秒，甚至1000秒），因此，如果不能解析地完成迭代，计算成本非常高
    

Analytic anti-centering/potential reduction

期望低秩解位于可行解的边界上。（内点法中的）牛顿法遵循从边界到解析中心的路径。

• idea: 沿着牛顿路径从解析中心到边界
• comments:
  • 要求用户提供的初始点（并且对它高度敏感）
  • 只适用于半正定（PSD, Positive Semidefinite）矩阵
  • 实现复杂

新方法

1 Trace heuristic for PSD matrices

observation: 对于 $X=X^T\ge 0$，最小化迹 在实践中 往往给出低秩解。
建议如下：
$$\begin{gathered} \text{RMP:} \\ \min \text{rank}(X) \\ \text{s.t.}X\in C \end{gathered}$$
$$\begin{gathered} \text{Trace heuristic:} \\ \min \text{Tr}(X) \\ \text{s.t.}X\in C \end{gathered}$$

• 简单而有效
• 凸问题，因此可以有效地解决，不需要初始点
• 如果可行解有界，则给出目标的下边界

• 变体：加权迹最小化
  $$\begin{array}{rl}& \min \text{Tr}(WX)\\ & \text{ s.t. }X\in C\end{array}$$
  其中 $W=W^T>0$.

intuition: 用凸函数 $\text{Tr}(X)$ 替换 $\text{rank}(X)$

• 注： $\text{rank}(X)=$ 非零的${\lambda }_i$的数量，$\text{Tr}(X)={\sum }_i{\lambda }_i$
  其中，${\lambda }_i$ 是 $X$ 的特征值.
• 如果 ${\lambda }_i\le 1$，则 $\text{Tr}(X)\le \text{rank}(X)$
• 适用条件： 当且仅当 $X=X^T\ge 0$

2 Log-det heuristic for PSD matrices

对于 $X=X^T\ge 0$，
$$\begin{gathered} \text{RMP:} \\ \begin{array}{rl}& \min \text{rank}X\\ & \text{ s.t. }X\in C\end{array} \end{gathered}$$
$$\begin{gathered} \text{Log-det heuristic:} \\ \begin{array}{rl}& \min \log \det (X+\delta I)\\ & \text{ s.t. }X\in C\end{array} \end{gathered}$$

• 目标是 非凸的（实际上是凹的）
• 可以使用任何局部优化方法，找到局部最小值；特别是，可以迭代线性化，并在每一步解决线性化（凸）问题。

由此产生 迭代法：
$$X_{k+1}=\underset{X\in C}{\mathrm{argmin}}\text{Tr}((X_k+\delta I{)}^{-1}X)$$
即，迭代加权迹最小化：
$$\begin{gathered} X_{k+1}=\underset{X\in C}{\mathrm{argmin}}\text{Tr}(W_{k}X) \\ {W}_k=(X_k+\delta I{)}^{-1} \end{gathered}$$

• 每次迭代都是一个凸问题，因此得到了有效的解决
• 可以显示迭代收敛到 $\log \det (X+\delta I)$ 的局部最小值（利用 $\log \det (X+\delta I)$ 在 $X$ 上的凹特性）
• 如果 $X_0=I$，那么第一次迭代与 trace heuristic 相同（因此，迭代细化为 trace heuristic的结果）
• 在实践中，需要很少的迭代（大概5-6次）

intuition:

• 注： $\text{rank}(X)={\lambda }_i$ 中非零元素的个数，
  $$\log \det (X+\delta I)=\log \prod _i({\lambda }_i+\delta )=\sum _i\log ({\lambda }_i+\delta )$$

• 适用条件： 当且仅当 $X=X^T\ge 0$

3 Semidefinite embedding

question: 我们能否将后两种 heuristics 推广到一般矩阵？

引理： 令 $X\in {\mathbb{R}}^{m\times n}$，则 $\text{rank}(X)\le r\text{iff}\exists Y=Y^T\in {\mathbb{R}}^{m\times m}\text{and}Z=Z^T\in {\mathbb{R}}^{n\times n}\text{s.t.}$
$$\text{rank}\left[\begin{array}{cc}Y& 0\\ 0& Z\end{array}\right]\le 2r,\left[\begin{array}{cc}Y& X\\ X^T& Z\end{array}\right]\ge 0$$

结论： 可以将一般矩阵的秩 与 PSD（对称）矩阵的秩 联系起来，因此，可以将一般秩问题 嵌入到 一个只涉及PSD矩阵的更大的秩问题中。

证明：
假设 $\text{rank}(X)=r_0\le r$，then $X=LR,L\in {\mathbb{R}}^{m\times r_0},R\in {\mathbb{R}}^{r_0\times n}$，且 $\text{rank}(L)=\text{rank}(R)=r_0$.
令 $Y=L{L}^T,Z=R^{T}R$满足引理的条件，
$$\left[\begin{array}{cc}Y& X\\ X^T& Z\end{array}\right]=\left[\begin{array}{c}L\\ R^T\end{array}\right]\left[\begin{array}{cc}{L}^T& R\end{array}\right]\ge 0$$
$\Leftarrow$ w.l.o.g[^5]，假设 $\text{rank}(Y)\le \text{rank}(Z)$，Schur补充
$$\left[\begin{array}{cc}Y& X\\ X^T& Z\end{array}\right]\ge 0\iff \{\begin{array}{ll}\text{(i)}& Y>0\\ \text{(ii)}& X^T(I-Y{Y}^{†})=0\\ \text{(iii)}& Z-X^T{Y}^{†}X\ge 0\end{array}$$
根据 (ii) ，利用 $\text{rank}(X)=n-\dim N(X)=m-\dim N(X^T)$得到
$$\begin{array}{rl}N(X^T)\supseteq N(Y)& \Rightarrow \dim N(X^T)\ge \dim N(Y),\\ & \Rightarrow \text{rank}(Y)\ge \text{rank}(X^T)=\text{rank}(X)\end{array}$$
因此，$2\text{rank}(X)\le \text{rank}(Y)+\text{rank}(Z)$ 或者 $\text{rank}(X)\le r$.

RMP的等效PSD形式

回归于 RMP
$$\begin{array}{rlrl}& \min & & \text{rank}(X)\\ & \text{ s.t.}& & X\in C\end{array}$$
通过嵌入引理，它等价于
$$\begin{gathered} \min \text{rank}\left[\begin{array}{cc}Y& 0\\ 0& Z\end{array}\right] \\ \text{ s.t. }\left[\begin{array}{cc}Y& X\\ X^T& Z\end{array}\right]\ge 0 \end{gathered}$$
其中，变量 $X\in {\mathbb{R}}^{m\times n},Y\in {\mathbb{R}}^{m\times m},z\in {\mathbb{R}}^{n\times n}$

• $X$是一般的矩阵，$Y$ 和 $Z$ 是对称的PSD矩阵
• 任意最小化PSD矩阵秩的方法都适用
• 可以利用 $X$ 的结构（如：块对角、对称）来减少变量的数量

4 Trace heuristic for general matrices

将 trace heuristic 应用于 RMP 的 PSD形式，得出
$$\begin{array}{rlrl}& \min & & \text{Tr}\left[\begin{array}{cc}Y& 0\\ 0& Z\end{array}\right]\\ & \text{ s.t.}& & \left[\begin{array}{cc}Y& X\\ X^T& Z\end{array}\right]\ge 0\\ & & & X\in C\end{array}$$
这表明，它是等价于
$$\begin{array}{rlrl}& \min & & \Vert X{\Vert }_{\ast }\\ & \text{ s.t. }& & X\in C\end{array}$$
其中 $X$ 的核范数 $\Vert X{\Vert }_{\ast }={\sum }_i{\sigma }_i(X)$ 是 谱范数（或最大奇异值）的对偶。

question: 如何将 $\Vert X{\Vert }_{\ast }$ 和 $\text{rank}(X)$联系起来？

定理2： $\Vert X{\Vert }_{\ast }$ 是 $\text{rank}(X)$ 在集合 { X ∈ R m × n    ∣    ∥ X ∥ ≤ 1 } \{X\in\R^{m\times n}\;|\;\lVert X\rVert\le1\} {X∈Rm×n∣∥X∥≤1} 上的凸包

结论：

• trace heuristic在有界集上 最小化秩的凸包（即：秩的最优凸近似）
• 如果可行解有界，heuristic提供目标（可以合并到分支定界方法中）的下界

该定理为 trace heuristic的使用 提供了理论支撑。

特例：向量的 $l_1$ heuristic

假设 $X=\text{diag}(x),x\in {\mathbb{R}}^n$，应用 trace heuristic 得到
$$\begin{array}{rlrl}& \min & & \Vert x{\Vert }_1\\ & \text{ s.t.}& & x\in C\end{array}$$

• 寻找稀疏解的 著名的 $l_1$ heuristic
• $\Vert x{\Vert }_1$ 是 满足 { x ∣ ∥ x ∥ ∞ ≤ 1 } \{x | \lVert x\rVert_\infin\le1\} {x∣∥x∥∞​≤1}的 $x$非零个数 的凸包
• 因此，trace heuristic可以被看作 $l_1$ heuristic对矩阵的扩展

5 Log-det heuristic for general matrices

将 log-det heuristic 应用于 RMP 的 PSD形式，得出
$$\begin{array}{rlrl}& \min & & \log \det (\left[\begin{array}{cc}Y& 0\\ 0& Z\end{array}\right]+\delta I)\\ & \text{s.t.}& & \left[\begin{array}{cc}Y& X\\ X^T& Z\end{array}\right]\ge 0\\ & & & X\in C\end{array}$$
它等价于
$$\begin{array}{rlrl}& \min & & \sum _i\log ({\sigma }_i(X)+\delta )\\ & \text{ s.t.}& & X\in C\end{array}$$
可以像之前一样迭代线性化，得到 $X,Y,Z$ 的迭代值。

特例：向量的迭代 $l_1$ heuristic

假设 $X=\text{diag}(x),x\in {\mathbb{R}}^n$，结合 log-det heuristic 得到
$$\begin{array}{rlrl}& \min & & \sum _i\log (|x_i|+\delta )\\ & \text{ s.t.}& & x\in C\end{array}$$
迭代线性化和最小化，得到
$$\begin{array}{rlrl}{x}^{(k+1)}& =& & \underset{x\in C}{\mathrm{argmin}}\sum _i{w}_i^{(k)}|x_i|\\ w_i^{(k)}& =& & \frac{1}{|x_i^{(k)}|+\delta }\end{array}$$

• 每一步最小化 $x$ 的加权 $l_1$范数
• interpretation: 如果 $x_i^{(k)}$ 很小，那么它的权重在下一次最小化中的权重很大，因此 $x$中的小项 通常在约束允许的范围内 趋于0.

interpretation

标量情况下，两个 heuristics 的目标，即 $X=x\in \mathbb{R}$.

• 在该案例中，$\sigma (X)=|x|$
• 注： $\frac{1}{M}|x|$ 是满足 { x ∣ ∣ x ∣ ≤ M } \{x|\lvert x\rvert\le M\} {x∣∣x∣≤M} 的 $x$的秩的凸包。