2016-Tensor Ring Decomposition-论文笔记

找个地方记录一下

近年来，张量网络已成为解决大规模优化问题的有力工具。最流行的张量网络之一是张量Train (TT) 分解，它充当复杂张量网络的构建块。然而，TT 分解高度依赖于张量维度的排列，因为它在潜在核心上具有严格的顺序多线性乘积，这导致难以找到最佳 TT 表示。

在本文中，我们引入了一种基本的张量分解模型，通过在一系列低维核上的循环多线性积来表示大维张量，可以用图形将其解释为三阶张量的循环互连，因此称为张量环（TR）分解。 TR 模型的主要优点是循环维数置换不变性，这是通过使用迹操作和平等处理潜在核获得的。

TR模型可以看作是TT分解的线性组合，从而获得强大的泛化表示能力。

为了优化潜在核，我们提出了四种基于顺序 SVD、ALS 方案和逐块 ALS 技术的不同算法。此外，研究了TR模型的数学性质，表明使用TR表示可以有效地执行基本的多线性代数，并且可以方便地将经典张量分解转换为TR表示。最后，对合成信号和真实世界数据集进行了实验，以评估不同算法的性能。

最近，被认为是张量分解的泛化的张量网络已成为分析大规模张量数据的潜在强大工具。 主要概念是将一个大规模的优化问题转化为一组小规模的易处理优化问题，这可以通过将一个高阶张量表示为相互连接的低阶张量来实现。 最流行的张量网络是张量序列/矩阵乘积状态 (TT/MPS) 表示，它需要 O(dnr^2) 参数，因此可能允许有效处理更高维张量。 另一个重要的张量网络是分层 Tucker (HT) 格式，其中 Tucker 类型的递归分层结构用于低维表示。这些张量格式的有用性目前正在研究各种高维问题。 例如，TT 格式已成功应用