TensorLy 张量分解

最新推荐文章于 2024-06-18 09:40:18 发布
最新推荐文章于 2024-06-18 09:40:18 发布
阅读量3.4k 收藏 23
点赞数 5
分类专栏： 张量学习 文章标签： 深度学习 数据分析 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/tjufan/article/details/108835435
版权

TensorLy 笔记系列

  1. tensorly-01 安装教程
  2. tensorly-02 快速上手
  3. tensorly-03 后端系统
  4. tensorly-04 基本操作
  5. tensorly-05 张量分解
  6. tensorly-06 张量回归

5. Tensor 分解

张量的最大特征之一是可以被紧密地表示为分解形式，并且我们有强大的保证方法来得到这些分解。在本教程中，我们将学习这些分解形式以及如何进行张量分解。关于张量分解的更多信息，请参考1。

5.1. Tensor 的 Kruskal 形式

其思想是将张量表示为一阶张量的和, 也就是向量的外积的和。这种表示可以通过应用典型的Canonical Polyadic 分解(也称为CANDECOMP-PARAFAC、CP或PARAFAC分解)得到。

5.1.1. CANDECOMP-PARAFAC分解

在这里演示如何执行 Canonical Polyadic 分解。一个 rank-r Parafac将一个tensor分解成列-1张量的线性组合(详见1)。
首先，创建一个 swiss 形状是1其余是0的二阶 tensor。

>>> import numpy as np
>>> import tensorly as tl
>>> tensor = tl.tensor([[ 0.,  0.,  0.,  0.,  0.,  0.,  0.,  0.,  0.,  0.,  0.,  0.],
                        [ 0.,  0.,  0.,  0.,  1.,  1.,  1.,  1.,  0.,  0.,  0.,  0.],
                        [ 0.,  0.,  0.,  0.,  1.,  1.,  1.,  1.,  0.,  0.,  0.,  0.],
                        [ 0.,  0.,  0.,  0.,  1.,  1.,  1.,  1.,  0.,  0.,  0.,  0.],
                        [ 0.,  1.,  1.,  1.,  1.,  1.,  1.,  1.,  1.,  1.,  1.,  0.],
                        [ 0.,  1.,  1.,  1.,  1.,  1.,  1.,  1.,  1.,  1.,  1.,  0.],
                        [ 0.,  1.,  1.,  1.,  1.,  1.,  1.,  1.,  1.,  1.,  1.,  0.],
                        [ 0.,  1.,  1.,  1.,  1.,  1.,  1.,  1.,  1.,  1.,  1.,  0.],
                        [ 0.,  0.,  0.,  0.,  1.,  1.,  1.,  1.,  0.,  0.,  0.,  0.],
                        [ 0.,  0.,  0.,  0.,  1.,  1.,  1.,  1.,  0.,  0.,  0.,  0.],
                        [ 0.,  0.,  0.,  0.,  1.,  1.,  1.,  1.,  0.,  0.,  0.,  0.],
                        [ 0.,  0.,  0.,  0.,  0.,  0.,  0.,  0.,  0.,  0.,  0.,  0.]])

使用 rank-2 CANDECOMP-PARAFAC(tensorly.decomposition.parafac)将tensor分解成 kruskal tensor。Parafac分解将tensor表示为kruskal tensor，可以表示为一列因子(矩阵)。因此，parafac函数返回一个因子列表。

>>> from tensorly.decomposition import parafac
>>> factors = parafac(tensor, rank=2)
>>> len(factors)
2
>>> [f.shape for f in factors]
[(12, 2), (12, 2)]

从kruskal tensor(以矩阵列表的形式呈现)，可以重构一个完整tensor:

>>> print(tl.kruskal_to_tensor(factors))
[[ 0.  0.  0.  0.  0.  0.  0.  0.  0.  0.  0.  0.]
 [ 0.  0.  0.  0.  1.  1.  1.  1.  0.  0.  0.  0.]
 [ 0.  0.  0.  0.  1.  1.  1.  1.  0.  0.  0.  0.]
 [ 0.  0.  0.  0.  1.  1.  1.  1.  0.  0.  0.  0.]
 [ 0.  1.  1.  1.  1.  1.  1.  1.  1.  1.  1.  0.]
 [ 0.  1.  1.  1.  1.  1.  1.  1.  1.  1.  1.  0.]
 [ 0.  1.  1.  1.  1.  1.  1.  1.  1.  1.  1.  0.]
 [ 0.  1.  1.  1.  1.  1.  1.  1.  1.  1.  1.  0.]
 [ 0.  0.  0.  0.  1.  1.  1.  1.  0.  0.  0.  0.]
 [ 0.  0.  0.  0.  1.  1.  1.  1.  0.  0.  0.  0.]
 [ 0.  0.  0.  0.  1.  1.  1.  1.  0.  0.  0.  0.]
 [ 0.  0.  0.  0.  0.  0.  0.  0.  0.  0.  0.  0.]]
5.2. Tensor 的 Tucker 形式

Tucker分解可以看作是CP分解的一般化:它将张量分解为一个小核心tensor和因子矩阵。CP可以看作是一个具有超对角核心的tucker分解。因此，一个分解后的Tucker形式的张量只不过是一个与原始张量具有相同阶的核张量和一列投影矩阵，每个投影矩阵对应核张量的不同模式。

5.2.1. Tucker 分解

Tucker(经典和非负)的形式在TensorLy模块tensorly.decomposition.tucker和tenorly.decomposition.non_negative_tucker.
使用前文中的tensor，演示tensor的 rank [2, 3] 分解。

>>> from tensorly.decomposition import tucker
>>> core, factors = tucker(tensor, ranks=[2, 3])
# The core is a smaller tensor of size (2, 3):
>>> core.shape
(2, 3)
>>> len(factors)
2
>>> [f.shape for f in factors]
[(12, 2), (12, 3)]

和上述一样，也可以从Tucker分解中重建完整的tensor。

>>> from tensorly import tucker_to_tensor
>>> print(tucker_to_tensor(core, factors)
[[  0.000e+00   0.000e+00   0.000e+00   0.000e+00   0.000e+00   0.000e+00   0.000e+00   0.000e+00   0.000e+00   0.000e+00   0.000e+00   0.000e+00]
 [ -7.340e-17   2.617e-16   1.914e-16   2.475e-16   1.000e+00   1.000e+00   1.000e+00   1.000e+00   2.475e-16   2.475e-16   2.475e-16   0.000e+00]
 [ -7.340e-17   2.617e-16   1.914e-16   2.475e-16   1.000e+00   1.000e+00   1.000e+00   1.000e+00   2.475e-16   2.475e-16   2.475e-16   0.000e+00]
 [ -7.340e-17   2.617e-16   1.914e-16   2.475e-16   1.000e+00   1.000e+00   1.000e+00   1.000e+00   2.475e-16   2.475e-16   2.475e-16   0.000e+00]
 [  7.746e-17   1.000e+00   1.000e+00   1.000e+00   1.000e+00   1.000e+00   1.000e+00   1.000e+00   1.000e+00   1.000e+00   1.000e+00   0.000e+00]
 [  7.746e-17   1.000e+00   1.000e+00   1.000e+00   1.000e+00   1.000e+00   1.000e+00   1.000e+00   1.000e+00   1.000e+00   1.000e+00   0.000e+00]
 [  7.746e-17   1.000e+00   1.000e+00   1.000e+00   1.000e+00   1.000e+00   1.000e+00   1.000e+00   1.000e+00   1.000e+00   1.000e+00   0.000e+00]
 [  7.746e-17   1.000e+00   1.000e+00   1.000e+00   1.000e+00   1.000e+00   1.000e+00   1.000e+00   1.000e+00   1.000e+00   1.000e+00   0.000e+00]
 [ -7.340e-17   2.617e-16   1.914e-16   2.475e-16   1.000e+00   1.000e+00   1.000e+00   1.000e+00   2.475e-16   2.475e-16   2.475e-16   0.000e+00]
 [ -7.340e-17   2.617e-16   1.914e-16   2.475e-16   1.000e+00   1.000e+00   1.000e+00   1.000e+00   2.475e-16   2.475e-16   2.475e-16   0.000e+00]
 [ -7.340e-17   2.617e-16   1.914e-16   2.475e-16   1.000e+00   1.000e+00   1.000e+00   1.000e+00   2.475e-16   2.475e-16   2.475e-16   0.000e+00]
 [  0.000e+00   0.000e+00   0.000e+00   0.000e+00   0.000e+00   0.000e+00   0.000e+00   0.000e+00   0.000e+00   0.000e+00   0.000e+00   0.000e+00]]

注意，有些系数几乎为零(10e-16)，但由于数值近似，并不完全是零。

5.3. Matrix-Product-State/Tensor-Train分解

Tensor-Train分解，在物理学界又称矩阵积态，是一种将高阶tensor分解为三阶tensor的方法。对于一个d阶张量A[i1，…，id]，它将每个维度分成一个3阶子张量，称之为因子或核。子张量的一个维数是真实物理维数，而另外两个维数是连接其前后核心的边数。
A [ i 1 , … , i d ] ≈ ∑ α 1 ⋯ ∑ α d − 1 G 1 ( i 1 , α 1 ) G 2 ( α 1 , i 2 , α 2 ) G 3 ( α 2 , i 3 , α 3 ) ⋯ G d ( α d − 1 , i d ) A[i_1, \ldots, i_d] \approx \sum_{\alpha_1}\cdots\sum_{\alpha_{d-1}}G_1(i_1, \alpha_1)G_2(\alpha_1, i_2, \alpha_2)G_3(\alpha_2, i_3, \alpha_3)\cdots G_d(\alpha_{d-1},i_d) A[i1​,…,id​]≈∑α1​​⋯∑αd−1​​G1​(i1​,α1​)G2​(α1​,i2​,α2​)G3​(α2​,i3​,α3​)⋯Gd​(αd−1​,id​)
MPS/Tensor-Train分解的优点是存储和计算时间和维度是线性的，使得高维度问题更容易解决。

5.3.1. 实现方式

TensorLy中提供了两种tensor train分解方式：基于SVD的分解(tensorly.decomposition.mps_decomposition) 和 基于交叉逼近的方法(tensorly.contrib.mps_decomposition_cross)。使用上文中的tensor，演示尺寸(12,12) tensor的rank [1,2,1]分解过程，第一个核的尺寸是(1,12,2)和第二个核的尺寸是(2,12,1):

>>> from tensorly.decomposition import matrix_product_state
>>> factors = matrix_product_state(tensor, rank=[1,2,1])
>>> len(factors)
2
>>> [f.shape for f in factors]
[(1, 12, 2), (2, 12, 1)]

也可以从 Tensor-Train分解的tensor重建为整个tensor。

>>> from tensorly import mps_to_tensor
  >>> print(np.round(mps_to_tensor(factors), decimals=10))
[ 0.  0.  0.  0.  1.  1.  1.  1.  0.  0.  0.  0.]
[ 0.  0.  0.  0.  1.  1.  1.  1.  0.  0.  0.  0.]
[ 0.  0.  0.  0.  1.  1.  1.  1.  0.  0.  0.  0.]
[-0.  1.  1.  1.  1.  1.  1.  1.  1.  1.  1. -0.]
[-0.  1.  1.  1.  1.  1.  1.  1.  1.  1.  1. -0.]
[-0.  1.  1.  1.  1.  1.  1.  1.  1.  1.  1. -0.]
[-0.  1.  1.  1.  1.  1.  1.  1.  1.  1.  1. -0.]
[ 0.  0.  0.  0.  1.  1.  1.  1.  0.  0.  0.  0.]
[ 0.  0.  0.  0.  1.  1.  1.  1.  0.  0.  0.  0.]
[ 0.  0.  0.  0.  1.  1.  1.  1.  0.  0.  0.  0.]
[ 0.  0.  0.  0.  0.  0.  0.  0.  0.  0.  0.  0.]]

对于矩阵情况，MPS/Tensor-Train分解等价于奇异值分解。该矩阵的秩为2，因此可以通过rank-2分解完全恢复。

5.4. 参考资料
  1. T.G.Kolda and B.W.Bader, “Tensor Decompositions and Applications”, SIAM REVIEW, vol. 51, n. 3, pp. 455-500, 2009.
  2. tensorly
tjufan
关注
  • 5
    点赞
  • 踩
  • 23
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Python通过tensorly实现张量分解（笔记）
qq_53273581的博客
11-28 694
TensorLy 是一个 Python 库，旨在使张量学习变得简单易用。它允许轻松执行张量分解、张量学习和张量代数。其后端系统允许使用 NumPy、PyTorch、JAX、MXNet、TensorFlow 或 CuPy 无缝执行计算，并在 CPU 或 GPU 上大规模运行方法。
分数加减乘除混合运算带答案_人教版小学数学五年级下册分数加减混合运算公开课优质课课件教案视频...
weixin_35044945的博客
01-02 1029
异分母分数加减法练习（1）对教材的理解和学情的分析 异分母分数加减法是第十册第四单元的一个学习内容。在这个内容之前，学生已经掌握了分数的基本性质，学会了约分、通分、分小数互化的方法，懂得了同分母分数加减法的算理。其中同分母分数加减法的计算方法是本节课最直接的知识起点。本节课的内容又是进一步学习分数加减混合运算的基础，同时又是本单元的重点。 五年级的学生已经能理解只有分数单位相同的分数才能相加减...
探索TorchMPS：Pytorch中的矩阵乘积状态新体验
最新发布
gitblog_00069的博客
06-18 382
探索TorchMPS：Pytorch中的矩阵乘积状态新体验 项目地址:https://gitcode.com/jemisjoky/TorchMPS 项目介绍 在深度学习的广阔领域中，TorchMPS为研究人员和开发者提供了一个全新的视角——利用矩阵乘积状态（Matrix Product State, 简称MPS）进行模型构建。不同于传统的神经网络层，MPS提供了更富有表现力的功能空间，能够嵌入输入...
分数的大小比较优秀教案_《比较分数的大小》教案
weixin_35067439的博客
01-17 2003
《比较分数的大小》教案时间：2017/12/11 22:01:00教学内容：北师大版小学数学三年级下册第58和59页的教学内容。教材分析：“分数比大小”是在学完“分一分(一)”和“分一分(二)”，对分数的意义和读写方法有了初步认识之后，对于分数的进一步认识。教学目标：1.借助直观图形，经历比较简单分数大小的过程，学会比较简单分数的大小。2.渗透数形结合的数学思想，提高观察、操作、分析和推理能力，发...
分数的大小比较优秀教案_分数大小比较教案
weixin_35789885的博客
01-14 346
与《分数大小比较教案》相关的范文知识要点 我们已经掌握了基本的比较整数.小数.分数大小的方法.本周将进一步研究如何比较一些较复杂的数或式子的值的大小. 解答这种类型的题目,需要将原题进行各种形式的转化,再利用一些不等式的性质进行 11a 推理判断.如:a>b>0,那么a的平方>b的平方:如果a>b>0,那么 :如果> abb1,b>0,那么a>b等等...
使用python tensorly 实现张量CP分解
fanc的博客
06-22 9355
使用tensorly.decomposition来进行张量分解 import numpy as np import tensorly as tl from tensorly.decomposition import parafac #CPdecomposition 就像一个矩阵可以分解为两个向量的外积总和，一个三阶张量可以表示为三个向量的外积之和，求和中的项数成为张量的Kruska...
Tensor 矩阵分解
huihuixiaoxue的博客
12-31 1162
QR:完成对特征值特征向量的求解，解决优化问题加快优化问题的收敛速度 EBD:PCA（无监督） SVD:LDA（有监督）
张量分解-CP分解
10-10
张量分解-CP分解，一种经典的张量分解的方法。网页截图
张量分解tensor_tool
04-09
在IT领域，张量分解是数据挖掘、机器学习和图像处理等众多应用中的关键技术。它扩展了矩阵分解的概念，能够处理多维数据，这在现代数据分析中尤其重要。本工具"tensor_toolbox"是一个专门为MATLAB环境设计的张量分解...
TensorLy：使用Python进行Tensor学习。-Python开发
05-25
TensorLy TensorLy是一个Python库，旨在使张量学习变得简单易用。 它允许轻松执行张量分解，张量学习和张量代数。 它的后端系统允许设置TensorLy TensorLy是一个Python库，旨在使张量学习变得简单且可访问。 它允许轻松执行张量分解，张量学习和张量代数。 其后端系统允许使用NumPy，MXNet，PyTorch，TensorFlow或CuPy无缝执行计算，并在CPU或GPU上大规模运行方法。 网站：http://tensorly.org源代码：https://github.com/tensorly/tensorly Jupyter笔记本：https://github.com/JeanKossaifi/tensorly-notebooks安装Te
矢量阵列PARAFAC分解信号DOA-极化联合估计
02-11
利用矢量传感器阵列隐含的多平移不变特性，可构建出三阶输出数据张量；进而利用张量PARAFAC分解算法（交替最小二乘，ALS）完成信号DOA-极化联合估计。该算法为R.Bro & N.D.Sidiropoulos于1998年提出，是PARAFAC分解应用于矢量阵列信号处理的早期成果。
张量分解 （Tensor）
nicolexiang的博客
09-06 7759
一般一维数组，称之为向量（vector）, 二维数组，称之为矩阵（matrix）; 三维数组以及多位数组，我们称之为张量（tensor）。 一、基本概念 矩阵补全（Matrix Completion）目的是为了估计矩阵中缺失的部分（不可观察的部分），可以看做是用矩阵X近似矩阵M，然后用X中的元素作为矩阵M中不可观察部分的元素的估计。 矩阵分解（Matrix Factori
Tensor中的矩阵分解
yeen123的博客
06-12 162
EVD解决方阵的矩阵分解； SVD解决非方阵的矩阵分解。 PCV：机器学习降维的方法。 无监督 LDA：分类、度量，的特征数据的降维。 有监督 在使用PCA进行特征向量降维的时候，一定要设定相应的约束条件，否则求解的结果会是无穷或者很多，或者不一定满足要求。只有设定约束条件的，实现最优化目标函数的才是我们想要的解。 而能达到这个要求的，刚好有协方差矩阵，因此最终采用的方法是协方差矩阵，将其进行矩阵分解，拿到对应的特征值和特征向量。拿到新的特征空间的两个主要信息。......
张量（二）：张量分解（tensor decomposition）
热门推荐
wwb44444的博客
10-06 1万+
与矩阵分解一样，我们希望通过张量分解去提取原数据中所隐藏的信息或主要成分。当前主流的张量分解方法有CP分解，Tucker分解，t-SVD分解等，更新的方法大多是在他们的基础上做进一步的改进或引用。因此，张量分解也是张量算法的基础。下面分别做介绍。 一、CP分解 CP分解是将任意高阶张量分解成多个秩为1的“因子张量”之和。如下图，每个因子张量的单个维度上秩都为1。若一个三维张量的数据为，则其CP分解表达式为，其中R为张量秩的大小，向量之间的乘积是外积的形式。虽然CP分解的表达式很简洁，但对其秩的求解却是一
Python 实现 Tensor-Train 分解
weixin_37830918的博客
07-07 157
借助tensor.decomposition模块进行分解。：安装Tensorly?
张量分解(Tensor Decomposition)
禅与计算机程序设计艺术
04-26 1万+
它将一个张量分解成一个较小的核张量与一系列矩阵（二维张量）的乘积。**CP分解（CANDECOMP/PARAFAC decomposition）**也是一种常见的张量分解方法。，对其进行张量分解，分解成一系列低秩张量的乘积。该优化问题的困难在于需要同时优化核张量和三个因子矩阵，一种解决方法是使用交替最小二乘法。交替最小二乘法把优化问题划分成几个独立的子问题，交替地优化每个子问题的损失函数。把该优化问题划分成几个独立的子问题，交替地优化每个子问题的损失函数。如下图所示，对于一个含有缺失数据的数据张量。
非负张量分解 python
12-19
非负张量分解（Non-negative Tensor Factorization, NTF）是一种将多维数据张量分解为低维非负因子的方法。在Python中，可以使用各种库和工具来进行非负张量分解的实现。 首先，可以使用NumPy库来对张量数据进行处理和运算，该库提供了丰富的数学函数和操作，适合用于矩阵和张量的计算。 其次，可以使用TensorFlow或者PyTorch这样的深度学习框架来进行非负张量分解的实现。这些框架提供了各种优化算法和自动求导功能，可以方便地进行张量分解模型的训练和优化。 另外，还有一些专门用于张量分解的库，例如Tensorly和hottbox等，它们提供了一些高级的张量操作和分解算法，能够更加方便地进行非负张量分解的实现。 最后，可以使用Scikit-learn这样的机器学习库来进行非负张量分解的实现。该库提供了各种机器学习模型和工具，可以用于张量数据的分解和降维。 总之，Python中有各种库和工具可供选择，可以根据具体的需求和场景来进行非负张量分解的实现。从简单的数学运算到深度学习框架，都能够满足不同应用场景下的非负张量分解需求。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值