Flying_sfeng的博客

昨天在组里分享了张量分解相关的知识，现在想把它整理成一个系列，供有需要的同学阅读。 下文根据Tensor Decompositions and Applications∗ 整理，原文比较长，我主要整理了一些比较常用的，有需要的同学可以直接阅读原文。 我们知道，一维的数组叫向量，二维的叫矩阵，三维及三维以上的就是张量了。 如下图，就是一个三阶张量： 以下为一些张量相关的基础知识（本文根据...

在讲解Tucker分解之前，我们先看一下Tucker分解在三阶张量上的分解形式： Tucker分解（Tucker decomposition）是高阶的主成分分析的一种形式。它将一个张量分解成一个核张量与每一维矩阵的乘积，具体如下： 这里A∈RI×P,B∈RJ×Q,A∈RK×RA∈RI×P,B∈RJ×Q,A∈RK×RA\in R^{I\times P},B\in R^{J\times Q...

这一篇文章主要讲解CP分解算法（CANDECOMP/PARAFAC decomposition）. 首先，我们必须明确，CP分解是做了什么工作，目的是想干什么。 我来自问自答：CP分解是将一个高维的张量，分解成多个核的和，每个核是由向量的外积组成；通过这样的分解，我们可以大大地降低参数的维度。 其实，不止CP分解，其他的张量分解算法都是同个道理，只是所采用的分解方法不同而已。当然，这样的分解...

在讲解Tensor-train Decomposition之前，我们先看一下Tensor-train Decomposition在三阶张量上的分解形式：Tensor-train Decomposition将原来的高维张量分解为多个三维张量的乘积（首尾张量为二维），具体分解形式如下图：Tensor-train Decomposition的参数优化方法为TT-SVD：参考：Tensor-T...

张量分解系列：张量分解（一）：张量分解（一）：基础知识张量分解（二）：张量分解（二）：CP分解张量分解（三）：张量分解（三）：Tucker分解张量分解（四）：张量分解（四）：Tensor-train DecompositionTensorizing Neural Network即张量化神经网络，跟一般神经网络的区别是把输入输出，权重，偏置等转换成张量的形式，反向传播同样使用链式法则。这...

张量分解系列：张量分解（一）：基础知识张量分解（二）：CP分解张量分解（三）：Tucker分解张量分解（四）：Tensor-train Decomposition张量分解（五）：Tensorizing Neural Network爬山涉水，终于来到了这里，这篇文章主要讲解Tensor-train Decomposition在RNN中的应用，并用于视频分类任务。其实将TT分解应用于RN...