笔记：Sparse and Truncated Nuclear Norm Based Tensor Completion

Han, Z. F., Leung, C. S., Huang, L. T., & So, H. C. (2017). Sparse and Truncated Nuclear Norm Based Tensor Completion. Neural Processing Letters, 45(3), 729-743.
本文是这篇 Neural Processing Letter 期刊论文的笔记，主要是对文中的理论方法进行展开详解。本人学术水平有限，文中如有错误之处，敬请指正。

摘要： 张量（tensor）补全的主要问题是计算其秩（rank）。最近，一种张量核范数（tensor nuclear norm），等于所有张量的展开的矩阵的核范数的加权和，已经被提出来解决这个问题。然而，在此方法中， 所有的奇异值是被同时最小化的。所以，张量的秩并没有被很好地近似。另外，许多现有的方法都忽视了张量的结构信息。此文提出了一种张量补全的算法，基于张量截断核范数（truncated nuclear norm），其优于传统的核范数方法。而且，为了保持结构的信息，一个稀疏约束项，定义于变换域，也被添加到了目标函数中。实验结果表明此文的方法能胜过一些最先进的算法，在张量补全中。

1 简介

在信号处理和机器学习的应用中，比如图像去噪，图像分类和子空间分割，需要根据已知的数据来估丢失的元素。当然，没有对数据信息的先验知识，估计丢失的元素是一个病态的问题。所以，一些假设被广泛地采用。例如，可以使用输入数据的统计或结构的信息，来建立已知数据和未知数据的关系。然而，许多方法都只关注局部联系。

另一种办法是使用输入数据的全局结构信息。许多研究表明真实的信号都存在低维的空间之中。比如，许多的自然图像都包含一些纹理区域。这些纹理的秩通常都很小。所以，许多的矩阵补全方法都研究最小化矩阵的秩。不幸的是，矩阵的秩并不是一个凸函数，意味着低秩最小化不能被有效地求解。

最近，研究表明，核范数，一个凸近似，适合低秩最小化求解。另外，核范数最小化可以通过一些数学方法有效地求解。然而，如 1 所述，使用核范数的最大限制是其不能很好地近似矩阵的秩，因为在优化过程中，所有的奇异值都被同时最小化了。在 2 中，矩阵截断核范数（truncated nunclear norm, MTNN）被提出。不像之前的核范数方法，最小化所有奇异值的和，该 MTNN 方法关注一部分最小的奇异值。经验性的研究表明此 MTNN 方法更优于其他矩阵核范数方法。

最近，作为矩阵补全的扩展，低秩张量补全越来越受关注。Liu et al. 3 首次定义了张量核范数，将矩阵补全扩展到张量补全中。另外，他们构建了两种算法，快速低秩张量补全（FaLRTC）和高精度低秩张量补全（HaLRTC）。由于张量核范数的概念是基于矩阵核范数，所以张量的秩也并没有被很好地近似。另外，这两种算法并没有考虑张量数据地结构信息。

此文定义了张量截断核范数（TTNN）方法。之后，将其应用到张量补全问题中。为了更好地提升性能，此文将 $\ell_1$ 范数约束项加入到目标函数中，保留数据片之间的平滑性质。约束项等于多维离散余弦变换系数的和。

2 背景

2.1 符号

此文中，矩阵用大写加粗字母表示（$\mathbf{X}, \mathbf{Y}$），其元素加下标（$\mathbf{X}_{ij}$）。Frobenius 范数定义为 $|| \mathbf{X} ||_\text{F} = \left( \sum_{ij} |\mathbf{X}_{ij}|^2 \right)^{\frac{1}{2}}$ 。矩阵的内积定义为 $\langle \mathbf{X}, \mathbf{Y} \rangle := \sum_{ij} \mathbf{X}_{ij} \mathbf{Y}_{ij}$ 。张量定义为书法体的大写加粗字母（$\mathcal{X}, \mathcal{Y}$）。一个 $N$ 模的张量，或 $N$ 阶的张量，表示为 $\mathcal{X} \in \mathbb{R}^{I_1 \times I_2 \times \cdots \times I_N}$，其中 $I_m$ 表示第 $m$ 个维度的大小。张量中的一个元素表示为 $\mathcal{X}_{i_1 \cdots i_N}$ 。模 $N$ 矩阵化一个张量 $\mathcal{X}$ 的结果是一个矩阵，表示为 $\mathcal{X}_{(n)}$ 。其过程是将除 $i_n$ 之外的索引全部线性化。矩阵 $\mathcal{X}_{(n)}$ 的大小为 $I_n \times \prod_{k=1,k \neq n}^{N} I_k$ 。在解包过程中，一个元素 $\mathcal{X}_{i_1 \cdots i_N}$ 对应着 $\mathcal{X}_{(n)}$ 的位置 $(i_n, j)$，其中

$$\begin{equation} j = 1 + \sum_{k=1, \, k \neq n}^{N} (i_k - 1) J_k \ \ \text{with} \ \ J_k = \prod_{m=1, \, m \neq n}^{k-1} I_m . \end{equation}$$
其逆操作打包定义为 $\text{Fold}_{(n)} \left( \mathcal{X}_{(n)} \right) := \mathcal{X}$ 。张量 $\mathcal{X}$ 的 Frobenius 范数定义为 $|| \mathcal{X} ||_\text{F} := \left( \sum_{i_1, \cdots, i_N} | \mathcal{X}_{i_1 \cdots i_N} |^2 \right)^{\frac{1}{2}}$，类似地，两个相同大小的 tensor 的内积定义为 $\langle \mathcal{X}, \mathcal{Y} \rangle := \sum_{i_1, \cdots, i_N} \mathcal{X}_{i_1 \cdots i_N} \mathcal{Y}_{i_1 \cdots i_N}$ 。

2.2 矩阵补全

首先回顾以下矩阵补全的概念。令 $\mathbf{M} \in \mathbb{R}^{m \times n}$ 为一个低秩的不完整的矩阵。令 $\Omega$ 为已知数据元素的集合，而 $\Omega^\text{c}$ 是其补集。矩阵补全可以用如下的优化问题表示：

$$\begin{align} \min_{\mathbf{X}} \ & \text{rank} (\mathbf{X}) \\ \text{s.t.} \ \ & {P}_{\Omega} (\mathbf{X}) = {P}_{\Omega} (\mathbf{M}) , \tag{1} \end{align}$$
其中 $P_{\Omega} (\cdot)$ 是映射操作，给出如下
$$\begin{equation} \left( P_{\Omega} (\mathbf{M}) \right)_{ij} = \begin{cases} \mathbf{M}_{ij}, & (i, j) \in \Omega , \\ 0, & (i, j) \in \Omega^\text{c}. \\ \end{cases} \end{equation}$$
在优化问题中 $(1)$，目标是估计 $\mathbf{X}$ 中的缺失的元素，使其的秩尽可能的小。一般的，矩阵的范数最小化问题是一个 NP-hard 问题。

在文献 4 中，介绍了矩阵 $\mathbf{X} \in \mathbb{R}^{m \times n}$ 的核范数，给出如下

$$\begin{equation} || \mathbf{X} ||_* = \sum_{i=1}^{\min(m,n)} \sigma_i , \end{equation}$$
其中 $\sigma_i$ 是矩阵 $\mathbf{X}$ 是第 $i$ 个最大的奇异值。使用矩阵核范数的概念，矩阵补全的问题 $(1)$ 就转变为
$$\begin{align} \min_{\mathbf{X}} \ & || \mathbf{X} ||_* \\ \text{s.t.} \ \ & {P}_{\Omega} (\mathbf{X}) = {P}_{\Omega} (\mathbf{M}) . \tag{2} \end{align}$$
在基于矩阵核范数的方法中，所有的奇异值都是同时被最小化的。所以，矩阵的秩没有被很好地近似 5 。为了解决这个问题，MTNN 方法被提出了。其等价于 $\min(m,n) - r$ 个最小的奇异值之和，即
$$\begin{equation} || \mathbf{X} ||_r = \sum_{i=r+1}^{\min(m,n)} \sigma_i . \end{equation}$$

接着，优化问题 $(2)$ 转变为

$$\begin{align} \min_{\mathbf{X}} \ & || \mathbf{X} ||_r \\ \text{s.t.} \ \ & {P}_{\Omega} (\mathbf{X}) = {P}_{\Omega} (\mathbf{M}) . \tag{3} \end{align}$$
根据文献 [5] 所述，该优化问题 $(3)$ 可以改写为
$$\begin{align} \min_{\mathbf{X}} \ & || \mathbf{X} ||_* - \max_{\mathbf{A} \mathbf{A}^\text{T} = \mathbf{I}, \, \mathbf{B} \mathbf{B}^\text{T} = \mathbf{I}} \text{tr} \left( \mathbf{A} \mathbf{X} \mathbf{B}^\text{T} \right) \\ \text{s.t.} \ \ & {P}_{\Omega} (\mathbf{X}) = {P}_{\Omega} (\mathbf{M}) , \tag{4} \end{align}$$
其中 $\mathbf{A} \in \mathbb{R}^{r \times m}$， $\mathbf{B} \in \mathbb{R}^{r \times n}$， $\mathbf{I}$ 是一个单位矩阵。在文献 [5] 中，作者提出了算法使用交替乘子法（alternating direction method of multipliers, ADMM）求解优化问题。基本思想是设置初始值 $\mathbf{X}^{(1)} = P_{\Omega} (\mathbf{M})$ 。在第 $t$ 次迭代过程中，先固定 $\mathbf{X}^{(t)}$ 和进行奇异值分解（SVD）于 $\mathbf{X}_t$，即 $\mathbf{X}^{(t)} = \mathbf{U} \Sigma \mathbf{V}^\text{T}$，其中 $\mathbf{U} = \left[ \mathbf{u}_1, \cdots, \mathbf{u}_m \right] \in \mathbb{R}^{m \times m}$， $\Sigma \in \mathbb{R}^{m \times n}$， $\mathbf{V} = \left[ \mathbf{v}_1, \cdots, \mathbf{v}_n \right] \in \mathbb{R}^{n \times n}$ 。令 $\mathbf{A}^{(t)} = \left[ \mathbf{u}_1, \cdots, \mathbf{u}_r \right]^\text{T}$ 和 $\mathbf{B}^{(t)} = \left[ \mathbf{v}_1, \cdots, \mathbf{v}_r \right]^\text{T}$ 。之后，固定 $\mathbf{A}^{(t)}$ 和 B(t)