张量分解（六）：TTRNN model for video classification

张量分解系列：
张量分解（一）：基础知识
张量分解（二）：CP分解
张量分解（三）：Tucker分解
张量分解（四）：Tensor-train Decomposition
张量分解（五）：Tensorizing Neural Network
张量分解（六）：TTRNN model for video classification

爬山涉水，终于来到了这里，这篇文章主要讲解Tensor-train Decomposition在RNN中的应用，并用于视频分类任务。
其实将TT分解应用于RNN，也同样是对输入的全连接层做处理，我们可以先看一个TTRNN的结构图：

根据这个结构图，我们可以看到，跟RNN相比，主要改变就在于红色箭头的TTL-Weights，这部分把FC-Layer改成了Tensor-train Layer，接下来，我把RNN和TTRNN的公式分别写下来，方便做对比：

我们知道，RNN的最主要变种就是LSTM和GRU，因此，这里也把TT-GRU和TT-LSTM的公式写出来：

接下来就是实验部分了。这里贴出paper中的一个实验，采用的是youtube的UCF11数据集：

实验结果如下：

更多详细内容，请查看paper：Tensor-Train Recurrent Neural Networks for Video Classification