张量分解（五）：Tensorizing Neural Network

张量分解系列：
张量分解（一）：基础知识
张量分解（二）：CP分解
张量分解（三）：Tucker分解
张量分解（四）：Tensor-train Decomposition
张量分解（五）：Tensorizing Neural Network
张量分解（六）：TTRNN model for video classification

Tensorizing Neural Network即张量化神经网络，跟一般神经网络的区别是把输入输出，权重，偏置等转换成张量的形式，反向传播同样使用链式法则。
这篇文章主要是把全连接层的权重进行tensor-train decomposition，且听我慢慢道来。
首先看最基础的全连接层：

那么，下一步，我们就是对W进行tensor-train decomposition（忘记具体形式的可看我上篇文章）转换成张量形式，同样的，为了匹配W，我们把y,x,b也都张量化(reshape成相应维度)，具体如下：

是不是很简单？张量化神经网络所做的改变就是在这部分，没有其他了。至于反向传播部分，本人曾推导过，本来想整理下来，但逻辑比较复杂，感觉不好表述，所以作罢。不过没关系，大家可以看看原文，作者解释得很清楚，我这里权当一个引荐：Tensorizing Neural Network。
可以有人要问，为什么要在神经网络中做张量分解呢？其实张量化主要是起到一个参数压缩的作用，这里贴之前在组里做技术分享的时候做过的一张图，主要描述张量化的权重W的参数数量的计算以及张量化前后参数数量的对比：

可以看出来，权重W张量化后，参数压缩比可接近1万倍，这是一个很客观的数字，意味着我们可以训练更少的参数，大大地减少了参数的存储空间和训练时间，同时，使算法可以更方便地迁移到移动设备。
至于压缩后的效果如何，请看我下一篇文章。