【Python/Pytorch - 网络模型】-- 高阶SVD算法

文章目录

00 写在前面

高阶奇异值分解（Higher-Order SVD，HOSVD）是一种将传统的奇异值分解（SVD）扩展到高阶张量的方法。它能够将一个高阶张量分解成一个核心张量和一组正交矩阵，类似于将矩阵分解成奇异值矩阵和两个正交矩阵。HOSVD 在多维数据分析、压缩和降维等领域有广泛应用。

01 基于Python版本的高阶SVD算代码

import numpy as np
import tensorly as tl
from tensorly.decomposition import tucker

# Create a random 3rd-order tensor
tensor = np.random.rand(3, 4, 5)

# Perform HOSVD (Tucker decomposition)
core, factors = tucker(tensor, ranks=[3, 4, 5])

print("Core tensor shape:", core.shape)
print("Factor matrices shapes:", [factor.shape for factor in factors])

# Reconstruct the tensor
reconstructed_tensor = tl.tucker_to_tensor((core, factors))

# Verify reconstruction accuracy
print("Original tensor shape:", tensor.shape)
print("Reconstructed tensor shape:", reconstructed_tensor.shape)
print("Reconstruction error:", np.linalg.norm(tensor - reconstructed_tensor))

高阶奇异值分解 (HOSVD) 介绍

基本概念

HOSVD 的基本思想是将一个 N 维张量 $\mathcal{X}$ 分解为一个核心张量 $\mathcal{S}$ 和一组因子矩阵 $U^{(1)},U^{(2)},\dots ,U^{(N)}$ 的乘积，这些因子矩阵是正交的。具体来说，对于一个三阶张量 $\mathcal{X}$，HOSVD 可以表示为：

$\mathcal{X}=\mathcal{S}{\times }_1{U}^{(1)}{\times }_2{U}^{(2)}{\times }_3{U}^{(3)}$

其中：

• $\mathcal{X}$ 是原始张量。
• $\mathcal{S}$ 是核心张量。
• $U^{(i)}$ 是正交矩阵，表示第 $i$ 维的因子矩阵。
• ${\times }_i$ 表示在第 $i$ 维上的张量-矩阵乘积。

02 HOSVD 的步骤

1. 构造模式矩阵：

   • 对于每一个模式（维度），将张量展平为矩阵，称为模式矩阵。例如，对于一个三阶张量 $\mathcal{X}$，我们可以得到三个模式矩阵 $X_{(1)},X_{(2)},X_{(3)}$。

2. 计算奇异值分解：

   • 对每个模式矩阵进行奇异值分解（SVD），得到奇异值矩阵和左右奇异矩阵。对于模式矩阵 $X_{(i)}$，可以得到 $X_{(i)}=U^{(i)}{\Sigma }^{(i)}(V^{(i)}{)}^T$。

3. 构造因子矩阵：

   • 从每个模式矩阵的 SVD 结果中提取左奇异矩阵 $U^{(i)}$ 作为对应维度的因子矩阵。

4. 计算核心张量：

   • 使用张量-矩阵乘积计算核心张量 $\mathcal{S}$，即 $\mathcal{S}=\mathcal{X}{\times }_1(U^{(1)}{)}^T{\times }_2(U^{(2)}{)}^T{\times }_3(U^{(3)}{)}^T$。