张量网络的图结构

最新推荐文章于 2024-07-10 11:25:38 发布

山科智能信息处理实验室

最新推荐文章于 2024-07-10 11:25:38 发布

阅读量665

点赞数

分类专栏：技术转载文章标签：张量

原文链接：https://zhuanlan.zhihu.com/p/94322505

版权

技术转载专栏收录该内容

28 篇文章

订阅专栏

本文介绍了张量网络的基本概念，包括向量、矩阵和张量的图表示，展示了向量-向量相乘、矩阵-向量相乘、矩阵-矩阵相乘、向量外积等运算的图结构。此外，还提到了张量-向量相乘和张量-矩阵混合乘积的图表示，并讨论了张量链式分解、树形张量网络和张量环式分解等张量网络模型。这些模型在机器学习和物理系统中有广泛应用。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

在张量计算中，向量、矩阵以及张量之间的计算其实都可以用图形进行表示，这种表示方法可以直观生动地表现出运算规则，另外，它也是很多物理系统中常用的工具。今天，我们将介绍一些常见张量网络的图结构。

1 基本的张量网络图

我们知道：向量和矩阵都可以看作是张量，只不过它们都是低阶张量。在张量网络中，我们可以根据维度信息将向量和矩阵绘制成标准的图结构。

在图中，标量 (scalar) 是一个单一的节点，向量是由一个节点和一条表示向量大小为 $I\times 1$ 的边构成，矩阵则是由一个节点和两条表示矩阵大小为 $I\times J$ 的边构成。

2 张量计算的图结构

1) 向量-向量相乘：给定任意两个大小为 $I\times 1$ 的向量 $a,b$ ，则可以得到一个标量 $a^{T}b$ 。

2) 矩阵-向量相乘：给定任意大小为 $I\times J$ 的矩阵 $A$ 和大小为 $J\times 1$ 的向量 $b$ ，则相乘之后可以得到一个大小为 $I\times 1$ 的向量 $Ab$ 。

3) 矩阵-矩阵相乘：给定两个大小分别为 $I\times J$ 和 $J\times K$ 的矩阵A和矩阵B，则相乘之后会得到一个大小为 $I\times K$ 的矩阵AB。

4) 向量外积：给定两个大小分别为为 $I\times 1$ 和 $J\times 1$ 的矩阵a和矩阵b，则向量外积得到一个大小为 $I\times J$ 的矩阵 $a\otimes b$ 。

5) 张量-向量相乘：给定任意大小为 $I\times J\times K$ 的三阶张量 $\chi$ 和三个大小分别为 $I\times 1$ 、 $J\times 1$ 和 $K\times 1$ 的向量a,b,c，则相乘之后可以得到一个标量，记作 $\chi \times _{1}a\times _{2}b\times _{3}c$ 。

在图结构中，四个节点分别表示张量和向量，三条边对应着张量-向量相乘。我们也能将这一运算泛化到任意阶张量上，如下图。

6) 张量-矩阵混合乘积：混合乘积满足上述运算规则。

3 一些张量网络模型案例

1) 张量链式分解 (tensor train decomposition)，基本表示可参考机器学习 | 张量链式分解。

2) 树形张量网络 (tree tensor network)，也是多层Tucker分解。

3) 张量环式分解 (tensor ring decomposition)。

参考资料

日本RIKEN赵启斌教授的汇报slides：Tensor Networks in Machine Learning: Recent Advances and Frontiers

评论

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。