An Empirical Evaluation of Generic Convolutional and Recurrent Networks for Sequence Modeling

TCN:An Empirical Evaluation of Generic Convolutional and Recurrent Networks for Sequence Modeling

该论文有以下几个重点方面：

-1.Sequence Modeling:序列建模
-2.Causal Convolutions:因果卷积
-3.Dilated Convolutions:扩张卷积
-4.Residual Connections:残差连接

Part 1 Sequence Modeling

对于输入序列“ x0,x1,x2,x3…xt’’;有输出序列’‘y1,y2,y3…yt’’.其满足因果卷积，即yt与 x0,x1,x2,x3…xt 相关。而与未来的输入，y(t+1)无关。

Part 2 Causal Convolutions

tcn基于两个原则：1.网络输出的长度与网络输入的长度相同。2.从future到past不会有信息的泄漏。为了达到第一点，tcn用了一个1d的卷积网络（FCN）框架，每个隐藏层都与输入层长度相同。为了实现第二点，tcn使用了因果卷积（因果卷积可着重看一下），在t时刻的输出与t时刻以及之前的层有关。
简单来说，有
这种设计有个缺点是需要极深的网络和极长的过去时间，因此，在接下来的阶段，我们将分析如何用现有的技术满足这亮点。

Part 3 Dilated Convolutions

简单的因果卷积只能回顾线性大小深度的网络，这使得在序列任务重应用因果卷积很有挑战性，我们的解决方法是应用因果卷积使得扩大感受野。正式得是，对于1-D输入x序列，空洞卷积操作F有：

在这里，d是空洞卷积参数，k是filter大小，扩张卷积的示意图如下所示。有两种方法都可以扩大tcn的感受野，一个是增大扩大卷积参数d，一个是扩大filter的大小k。下图中分别展示了当d=1,2,4时的不同的空洞卷积。

Part 4 Residual Connection

残差连接，一个残差模块包括两部分：输入与一系列操作之后的输出，如下所示：

由于tcn的感受野取决于网络的深度，filter的大小，以及扩张因子d，因此更深更大的tcn网络的稳定性很重要。因此，在我们的tcn模型的设计中，用残差模块代替一般的卷积层。

本实验中tcn的残差卷积模块，如图所示。在标准的resnet中，输入直接添加到经过一系列操作中的网络中，但在tcn中，输入输出可能有不同的宽度，因此我们使用1*1大小的卷积以保证元素相加⊕，大小相同。