关于张量的一点点小思考

做毕设时被第一个张量的论文看的目瞪口呆，过了三四个月了，今天又重新捡起来看了看CP分解卷积核的项目代码，忽然有点感想。拿磨了我好久的张量神经网络为例，神经网络想必不陌生，不过神经网络要求的输入通常是二维的（这句话需要查证），可能有时候图片是三维的。不过我们现在网站、应用收集到的数据很多都是高维的多源异构数据，这种数据可以用张量进行表示。有时候我们想把他们直接输入到网络里，这就需要来修改原来的神经网络，比如说把全连接层的权重矩阵也变成张量（这个还是不知道怎么实现啊），全连接运算变成张量之间的运算。但是都变成张量会带来巨大的参数数量，那么就开始CP分解或者Tucker分解等等。感觉研究张量更重要的点在于：设计新的运算！！！ 这就需要大量的数学功底了，张量的运算方法就显得很重要了，这就可能导致很多已经写好的现成函数就不能用了，可能需要研究函数的源码然后进行修改（想想都痛苦）。在运用张量分解后，重要的点也是怎么把分解后的矩阵们与其他的东西和谐的计算在一起！！！

嗯，弃了两个月后的一点点感悟，可能在未来的研究生生涯中还会有更深的其他理解和体会