【张量｜LRTC】Low-rank Tensor Completion with a New Tensor Nuclear Norm Induced by Invertible Linear Tran

支持我的工作 🎉

📃亲爱的朋友们，感谢你们一直以来对我的关注和支持！
💪🏻 为了提供更优质的内容和更有趣的创作，我付出了大量的时间和精力。如果你觉得我的内容对你有帮助或带来了欢乐，欢迎你通过打赏支持我的工作！

🫰🏻你的一份打赏不仅是对我工作的认可，更是对我持续创作的巨大动力。无论金额多少，每一份支持都让我倍感鼓舞和感激。

📝有关此篇文章的更多详情请见：论文精读，给我一杯咖啡的支持吧！☕️

🔥再次感谢你们的支持和陪伴！

动机+相关工作+实验

LRTC 代码分析及实验结果

阅读笔记

小结与疑问

由可逆线性变换诱导的具有新张量核范数的低秩张量补全

初步分析

一、摘要

这篇论文研究了低秩张量补全问题，旨在从部分观察到的条目中精确恢复低秩张量。模型受到最近提出的基于可逆线性变换的张量-张量乘积(t-product)的启发。通过在满足特定条件的情况下，我们推导出了新的张量管状秩、张量谱范数和张量核范数。利用张量核范数，通过解一个凸规划问题来解决张量补全问题，并在一定的张量非一致性条件下提供了精确恢复的理论界限。实验结果验证了理论结果，图像恢复的应用展示了该方法的优越性。

---

二、动机

在现代计算技术和存储技术进步的推动下，科学和工程应用中数据的采集、存储和处理变得前所未有的便宜和容易。真实数据通常是多维的，存储在称为张量的多向数组中。然而，张量数据通常是高维的，感兴趣的张量通常是低秩的或近似低秩的。因此，研究低秩张量估计和恢复问题变得越来越重要。这项工作旨在扩展现有的低秩矩阵和张量补全模型和分析，提出一种新的张量核范数，并在图像恢复中展示其应用效果。

---

三、贡献

1. 提出新定义：定义了一种基于可逆线性变换的新的张量核范数和张量管秩。
2. 理论分析：在满足一定张量非一致性条件下，提供了基于新张量核范数的张量补全问题的精确恢复理论界限。
3. 扩展性：新模型和结果大大扩展了现有的低秩矩阵和张量补全结果。
4. 数值验证：通过数值实验验证了理论结果，并展示了新方法在图像恢复中的优越性。

---

四、方法

1. 新张量核范数：定义了一种基于 t-product 的张量核范数，并证明了在满足特定条件下，该范数是张量平均秩的凸包。

2. 张量补全模型：提出了一种基于新张量核范数的张量补全模型，表示为一个凸优化问题【在已知某些投影点的情况下，使得张量 $\mathcal{X}$ 的核范数最小（因为已知先验是一般图像具有低秩性）】：

   $$\underset{\mathcal{X}}{\min }\Vert \mathcal{X}{\Vert }_{\ast }\text{s.t.}{P}_{\Omega }(\mathcal{X})=P_{\Omega }(\mathcal{M})$$

   其中，$P_{\Omega }$ 表示在观测集合上的投影，$\Vert \mathcal{X}{\Vert }_{\ast }$ 表示张量核范数。

3. 算法实现：通过交替方向乘子法(ADMM)解决上述凸优化问题。

---

五、实验

1. 随机数据补全：验证了在不同的可逆线性变换下，新张量核范数模型的精确恢复能力。
2. 图像恢复：将张量补全应用于图像恢复，并与现有的低秩矩阵和张量补全方法进行了比较。结果表明，基于离散余弦变换(DCT)的张量核范数方法在大多数情况下表现最佳。

---

数学模型

1. 新的张量核范数

新提出的张量核范数基于 t-product 定义。t-product的定义如下：

• 对于张量 $\mathcal{A}\in {\mathbb{R}}^{n_1\times n_2\times n_3}$ ，其块循环矩阵 $\text{bcirc}(\mathcal{A})\in {\mathbb{R}}^{n_1{n}_3\times n_2{n}_3}$ 定义为：

  $$\text{bcirc}(\mathcal{A})=\left[\begin{array}{cccc}{\mathcal{A}}^{(1)}& {\mathcal{A}}^{(n_3)}& \cdots & {\mathcal{A}}^{(2)}\\ {\mathcal{A}}^{(2)}& {\mathcal{A}}^{(1)}& \cdots & {\mathcal{A}}^{(3)}\\ ⋮& ⋮& \ddots & ⋮\\ {\mathcal{A}}^{(n_3)}& {\mathcal{A}}^{(n_3-1)}& \cdots & {\mathcal{A}}^{(1)}\end{array}\right]$$

• t-product 定义为：

  $$\mathcal{C}=\mathcal{A}\ast \mathcal{B}=\text{fold}(\text{bcirc}(\mathcal{A})\cdot \text{unfold}(\mathcal{B}))$$

• t-product 在张量运算中的作用

  1. 定义多维矩阵的乘法

  • t-product 提供了一种将高维张量之间的乘法转换为矩阵乘法的方法，使得可以利用矩阵运算的性质和工具来处理张量问题。
  • 具体来说，t-product 定义了两张量之间的乘法操作，使得其运算结果也是一个张量。

  2. 保持张量结构

  通过使用 t-product 运算，可以保持张量的多维结构，而不需要将张量展开为矩阵。这对于处理多维数据（如彩色图像和视频等）特别有用，因为可以直接在多维数据的本征结构上进行运算，而不会丢失信息或导致性能下降。

  3. 支持高效计算

  t-product 的定义利用了块循环矩阵（block circulant matrix）和离散傅里叶变换（Discrete Fourier Transform, DFT）等工具，这些工具可以高效地实现张量运算。具体操作如下：

  • 块循环矩阵 $\text{bcirc}(\mathcal{A})$ ：将三维张量转换为一个块循环的矩阵形式。
  • t-product 的计算：通过块循环矩阵的矩阵乘法和展开（unfold）操作实现，使得复杂的张量运算可以在变换域内以较低的计算成本完成。

  4. 促进张量分解和低秩张量估计

  t-product 是张量奇异值分解（t-SVD）的基础，后者是进行低秩张量估计的重要工具。通过 t-product 定义的 t-SVD，可以将张量分解为一系列低秩成分，有助于在多种应用中（如图像恢复、视频修复等）进行低秩张量的估计和完成。

  综上所述，t-product 在张量运算中起到了关键作用，使得在保持张量多维结构的同时，可以高效地进行复杂运算，并应用于低秩张量的分解和估计等重要任务。

---

2. 线性变换诱导的 t-product

论文引入了一种基于任意可逆线性变换 L 的 t-product 定义：

• 对于张量 $\mathcal{A}\in {\mathbb{R}}^{n_1\times n_2\times n_3}$ ，定义其变换 ${\mathcal{A}}^{\prime }$ 为 $\mathcal{A}$ 在第 $3$ 维上的线性变换：

  $${\mathcal{A}}^{\prime }=L(\mathcal{A})=\mathcal{A}{\times }_{3}L$$

• t-product 定义为：

  $$\mathcal{C}=\mathcal{A}{\ast }_L\mathcal{B}\text{其中}L(\mathcal{C})=L(\mathcal{A})\cdot L(\mathcal{B})$$

• 为什么要用线性变化诱导？

  1. 提供通用框架

  线性变换诱导的 t-product 提供了一个更通用的框架，适用于各种不同类型的张量数据。通过选择适当的线性变换 $L$ ，可以更灵活地处理不同结构和性质的张量数据。例如，可以根据应用需要选择离散傅里叶变换（DFT）、离散余弦变换（DCT）或随机正交矩阵（ROM）等不同的线性变换。

  2. 增强计算效率

  在某些情况下，特定的线性变换（如 DFT）可以将复杂的张量运算转化为更简单的矩阵运算，从而大大提高计算效率。通过将张量数据转换到频域或其他适合的变换域，可以利用高效的矩阵算法进行运算，减少计算成本。

  3. 保持张量结构

  线性变换诱导的 t-product 允许在不展开张量的情况下进行张量运算，保持了张量的多维结构。这对于多维数据（如彩色图像和视频）非常重要，因为展开操作可能导致信息丢失或性能下降。保持张量的本征结构有助于在保留原始数据特性的同时进行有效的处理和分析。

  4. 提供更好的理论保证

  线性变换诱导的 t-product 可以在理论上提供更好的恢复保证。在张量完成问题中，通过引入特定的线性变换，可以证明在一定的条件下可以精确恢复低秩张量。具体来说，论文中的理论结果表明，在满足张量不相干性条件下，可以通过凸优化模型精确恢复低秩张量。

  5. 支持多种应用

  线性变换诱导的 t-product 框架适用于多种实际应用，包括图像恢复、视频修复、信号处理和数据挖掘等。通过选择合适的线性变换，可以在不同的应用场景中获得更好的性能和结果。

  综上所述，使用线性变换诱导的 t-product 提供了更灵活、高效和理论上有保证的张量运算方法，适用于广泛的应用场景。

---

3. 新的张量核范数

在满足一定条件的情况下，定义了新的张量核范数 $\Vert \mathcal{A}{\Vert }_{\ast }$ 为：

$$\Vert \mathcal{A}{\Vert }_{\ast }=\frac{1}{\ell }\Vert {\mathcal{A}}^{\prime }{\Vert }_{\ast }$$

其中 $\ell$ 是常数， $\Vert {\mathcal{A}}^{\prime }{\Vert }_{\ast }$ 是 ${\mathcal{A}}^{\prime }$ 的核范数。

• 张量核范数（Tensor Nuclear Norm, TNN）

  张量核范数是通过将张量展开成矩阵形式，然后计算这些矩阵的核范数来定义的。具体来说，对于一个三维张量 $\mathcal{X}\in {\mathbb{R}}^{n_1\times n_2\times n_3}$，其张量核范数的定义步骤如下：

  1. 张量展开：

     • 将张量 $\mathcal{X}$ 展开成三个模展开矩阵，分别记为 ${\mathbf{X}}_{(1)}\in {\mathbb{R}}^{n_1\times (n_2{n}_3)}、{\mathbf{X}}_{(2)}\in {\mathbb{R}}^{n_2\times (n_1{n}_3)}$ 和 ${\mathbf{X}}_{(3)}\in {\mathbb{R}}^{n_3\times (n_1{n}_2)}$。

  2. 矩阵核范数计算：

     • 计算这些展开矩阵的核范数，核范数定义为矩阵的奇异值之和，即：

       $$\Vert {\mathbf{X}}_{(i)}{\Vert }_{\ast }=\sum _j{\sigma }_j({\mathbf{X}}_{(i)}),$$

       其中 ${\sigma }_j(\mathbf{X}(i))$ 是矩阵 $\mathbf{X}(i)$ 的第 $j$ 个奇异值。

  3. 张量核范数：

     • 将所有展开矩阵的核范数求和，得到张量的核范数：

       $$\Vert \mathcal{X}{\Vert }_{TNN}=\Vert {\mathbf{X}}_{(1)}{\Vert }_{\ast }+\Vert {\mathbf{X}}_{(2)}{\Vert }_{\ast }+\Vert {\mathbf{X}}_{(3)}{\Vert }_{\ast }.$$

  这种方法的优点是可以利用成熟的矩阵奇异值分解技术来计算，但在处理高维张量时计算开销较大。

• 傅里叶变换核范数（Fourier Transform Nuclear Norm）

  傅里叶变换核范数是一种更现代的方法，它通过在傅里叶变换域中处理张量，计算其核范数。其具体步骤如下：

  1. 张量傅里叶变换：

     • 对张量 $\mathcal{X}\in {\mathbb{R}}^{n_1\times n_2\times n_3}$ 进行离散傅里叶变换（DFT），得到傅里叶变换张量 $\hat{\mathcal{X}}\in {\mathbb{C}}^{n_1\times n_2\times n_3}$。傅里叶变换通常在第三维度上进行，即：

       $$\hat{\mathcal{X}}=\text{DFT}(\mathcal{X},\text{axis}=3).$$

  2. 傅里叶域展开矩阵：

     • 在傅里叶域中，将变换后的张量 $\hat{\mathcal{X}}$ 展开成多个矩阵 ${\hat{\mathbf{X}}}^{(i)}$，每个矩阵对应傅里叶变换后的每一个频率分量 $i$。

  3. 傅里叶域核范数计算：

     • 计算这些展开矩阵的核范数，即：

       $$\Vert {\hat{\mathbf{X}}}^{(i)}{\Vert }_{\ast }=\sum _j{\sigma }_j({\hat{\mathbf{X}}}^{(i)}),$$

  4. 傅里叶变换核范数：

     • 将傅里叶域中所有矩阵的核范数求和，得到张量的傅里叶变换核范数：

       $$\Vert \mathcal{X}{\Vert }_{FTNN}=\sum _i\Vert {\hat{\mathbf{X}}}^{(i)}{\Vert }_{\ast }.$$

  这种方法的优势在于利用傅里叶变换的特性，可以在频域中更有效地处理张量的数据结构，尤其是在某些周期性或频率成分明显的应用中。

  综上所述，TNN和FTNN都是重要的张量核范数方法，它们在不同的应用场景中各有优势。选择适当的核范数需要考虑具体应用的需求和数据的特性。

---

6. 张量完成的优化模型

基于新的张量核范数，提出了如下凸优化问题来解决低秩张量完成问题：

$$\underset{\mathcal{X}}{\min }\Vert \mathcal{X}{\Vert }_{\ast },\text{s.t.}{P}_{\Omega }(\mathcal{X})=P_{\Omega }(\mathcal{M})$$

其中 $P_{\Omega }(\mathcal{X})$ 表示 $\mathcal{X}$ 在观测集 $\Omega$ 上的投影。

---

7. 理论保证与实验验证

论文提供了在一定条件下通过上述优化模型能够精确恢复低秩张量的理论保证，并通过数值实验验证了该方法在合成数据和图像恢复上的有效性。

---

提出的算法

Algorithm 1 Transform L based t-product

输入：

• 张量 $\mathcal{A}\in {\mathbb{R}}^{n_1\times n_2\times n_3}$
• 张量 $\mathcal{B}\in {\mathbb{R}}^{n_2\times l\times n_3}$
• 线性变换 $L:{\mathbb{R}}^{n_1\times n_2\times n_3}\to {\mathbb{R}}^{n_1\times n_2\times n_3}$

输出：

• 张量 $\mathcal{C}=\mathcal{A}{\ast }_L\mathcal{B}\in {\mathbb{R}}^{n_1\times l\times n_3}$

步骤：

1. 计算 $\overline{\mathcal{A}}=L(\mathcal{A})$ 和 $\overline{\mathcal{B}}=L(\mathcal{B})$ ：
   • 分别对张量 $\mathcal{A}$ 和 $\mathcal{B}$ 应用线性变换 $L$ 。
2. 通过下式计算每个前切片的 $\overline{\mathcal{C}}$ ：

   • 对于 $i=1,\cdots ,n_3:$

     $${\overline{C}}^{(i)}={\overline{A}}^{(i)}{\overline{B}}^{(i)}$$

     • 计算 $\overline{\mathcal{A}}$ 和 $\overline{\mathcal{B}}$ 的第 $i$ 个前切片的乘积。
3. 计算 $\mathcal{C}=L^{-1}(\overline{\mathcal{C}})$ ：
   • 对 $\overline{\mathcal{C}}$ 应用线性变换的逆变换 $L^{-1}$ ，得到最终的结果张量 $\mathcal{C}$ 。

解释：

• 步骤1：使用给定的线性变换 $L$ 对输入张量 $\mathcal{A}$ 和 $\mathcal{B}$ 进行变换。
• 步骤2：计算变换后的张量 $\overline{\mathcal{A}}$ 和 $\overline{\mathcal{B}}$ 的每个前切片的乘积，生成 $\overline{\mathcal{C}}$ 的前切片。
• 步骤3：对分解后的张量应用逆线性变换 $L^{-1}$ ，得到原始张量的乘积结果 $\mathcal{C}$ 。

---

Algorithm 2 T-SVD based on $t-produc{t}_{\ast L}$

输入：

• 张量 $\mathcal{A}\in {\mathbb{R}}^{n_1\times n_2\times n_3}$
• 可逆的线性变换 $L$

输出：

• 张量 $\mathcal{A}$ 的 $T-SVD$ 分解成分 $\mathcal{U},\mathcal{S},\mathcal{V}$

步骤：

1. 计算 $\overline{\mathcal{A}}=L(\mathcal{A})$ ：
   • 对张量 $\mathcal{A}$ 应用线性变换 $L$ 。
2. 从 $\overline{\mathcal{A}}$ 计算每个前切片的 $\overline{\mathcal{U}},\overline{\mathcal{S}},\overline{\mathcal{V}}$ ：

   • 对于 $i=1,\cdots ,n_3$ :

     $$[{\overline{U}}^{(i)},{\overline{S}}^{(i)},{\overline{V}}^{(i)}]=\text{SVD}({\overline{A}}^{(i)})$$

     • 对 $\overline{\mathcal{A}}$ 的第 $i$ 个前切片执行奇异值分解（SVD），得到对应的 ${\overline{U}}^{(i)}$, ${\overline{S}}^{(i)},{\overline{V}}^{(i)}$ 。
3. 计算 $\mathcal{U}=L^{-1}(\overline{\mathcal{U}}),\mathcal{S}=L^{-1}(\overline{\mathcal{S}}),\mathcal{V}=L^{-1}(\overline{\mathcal{V}})$ ：
   • 对 $\overline{\mathcal{U}},\overline{\mathcal{S}},\overline{\mathcal{V}}$ 应用线性变换的逆变换 $L^{-1}$ ，得到原始张量 $\mathcal{A}$ 的 T-SVD 分解成分 $\mathcal{U},\mathcal{S},\mathcal{V}$ 。

解释：

• 步骤1：使用给定的线性变换 $L$ 对输入张量 $\mathcal{A}$ 进行变换。
• 步骤2：使用奇异值分解（SVD）分解变换后的张量 $\overline{\mathcal{A}}$ 的每个前切片，生成 $\overline{\mathcal{U}},\overline{\mathcal{S}},\overline{\mathcal{V}}$ 的前切片。
• 步骤3：对分解后的张量应用逆线性变换 $L^{-1}$ ，得到原始张量的 T-SVD 分解成分 $\mathcal{U},$ $\mathcal{S},\mathcal{V}$ 。