取三千不取一瓢-CSDN博客

原创图片特征提取

TTN的这篇论文同样是采用的TTN的结构，但是这里的TTN（主要是U这部分）并不是通过反向传播进行更新，实际上这个结构里会进行更新的只有最上面的top tensor。下层的U是一个粗粒化的结构，

2021-08-24 17:38:52 160

文章地址我们首先概括性的讲述一下这篇文章的脉络：图片处理：经典方法，每个像素处理成0，1比特的叠加态，之后所有像素做直积；网络结构：这里面v是处理后的图片数据（量子态），Ψ\PsiΨ就是需要向训练的测量算子。这是一种比较经典的张量网络结构，其基本想法就是用量子测量的语言来表述图片分类的过程。目标函数：这里的目标函数实际上基于等概率假设，为什么叫生成模型，我个人是认为它是假设了概率分布后，通过一同个类别的样本生成出来的分类器。它是为每个类别分别训练一个测量算子，测试的时候测量样本坍缩到不同类别

2021-08-03 17:43:20 233

原创 tesnorized transformer-张量化思想

首先我们介绍一下block -trerm decomposition：正如文章中说说,BTD是CP分解和Tucker分解的组合形式，它是把一个张量写成了多个Tucker分解的合并形式。这里我们可以提前说一下，tensorized transformer的一个优势在于写成核张量的形式可以对核张量做低秩近似，从而减小模型的参数量。另一点，后续在处理multi-head attention时，其实主要就是multi-core tensors。下面我们补充一下transformer的基本模型：这里的 Q,K,

2021-07-13 23:24:37 609 2

原创切空间更新原理--Tangent-space gradient optimization of tensor network for machine learning

首先这篇论文的思路和前述是一致的，都是设计一个希尔伯特空间里的一个算子∣Ψ>|\Psi>∣Ψ>，使得所有trainning set里的样本坍缩概率尽可能相等。其次这篇文章的核心思想可以概括为，如果需要更新的参数（张量）满足一定的条件，那么他的梯度下降将非常顺利，很难出现梯度下降或者梯度爆炸的问题。这篇文章对梯度下降的优化部分在于对learning rate的控制（不同于主流的Adam方法）。这里如果直接对∣Ψ>|\Psi>∣Ψ>做梯度下降，将是一个指数复杂度，所以需要

2021-05-08 18:05:46 237

原创张量网络与机器学习

这一章我们主要讲讲如何使用张量网络来做机器学习，里面有些比较细节的东西后续会通过链接贴上来。基本思想以图像处理为例，我们是将每张图片映射成希尔伯特空间中的向量，图像像素的所有可能构型对应着子空间的基矢，纯态在基矢上的投影对于构型的概率幅。图像生成的过程就像是量子态坍缩的过程。特征映射这里是讲如何将经典的图片元素映射成qubit的直积。注意一下这里的第二步，子空间维度被设定为了2（降低计算复杂性），但是像素本身的维度D>2，所以我们单考虑一个子空间，不同像素之间的内积不等于0。考虑到整个图片对

2021-04-17 23:21:05 690

原创杂记

混合乘积性质如果A、B、C和D是四个矩阵，且矩阵乘积AC和BD存在，那么：这个性质称为“混合乘积性质”，因为它混合了通常的矩阵乘积和克罗内克积。转置克罗内克积转置运算符合分配律：在量子计算领域，复合系统经常会遇到张量积转置的问题。另外，根据内积定义，在复合系统的内积中，张量积的转置会有一些灵活的等价变化...

2021-04-08 15:26:46 578

原创矩阵乘积态

首先，任意的复合量子态可以写成上面的基于基底的表述形式，他的系数ψ\psiψ实际上构成了一个N阶张量，si代表着第i个子系统的某个基矢，也代表着N阶张量的某一维度。根据上一篇博客提到的N阶张量的TT分解，我们可以把这样的系数矩阵进行分解，，满足TT形式的量子态我们将其称为矩阵乘积态（MPS）。写成TT形式后，我们可以通过前述截断辅助指标维数的方法来降低某一量子态的参数复杂度。TT形式中间的每一个张量，有一个物理指标（维数为ｄ）和两个辅助指标（维数被截断），总共我们有N个这样的张量，所以参数的复杂度是可求

2021-04-08 00:26:18 561 1

原创 Tensor Train 分解

这一节主要是讲一下高阶张量的TT分解，由于复合量子系统的基矢对应的系数向量的维数会随着子系统个数的增加呈指数上升，因此我们需要TT分解低秩近似来解决这样的一个“指数墙”的问题。TT分解的思想是把N阶张量分解成N个二阶和三阶张量的缩并，具体的分解形式，包括辅助指标的定义，上图描述的很清楚，此处不做赘述。形式是清楚的，但是具体的分解方法其实有很多的细节在里面，这些细节性的东西也是本次博客重点介绍的地方：我们以画圈的四阶张量为例讲解具体的分解过程（注意这里是四阶张量，红线处的那个指标不能忽略），我们把红

2021-04-02 22:50:39 2130 1

原创高阶张量的分解与压缩

这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入欢迎使用Markdown编辑器你好！这是你第一次使用 Markdown编辑器所展示的欢迎页。如果你想学习如何使用Mar

2021-04-01 16:46:00 2007

abcxyz11111的博客