An Empirical Evaluation of Generic Convolutional and Recurrent Networks for Sequence Modeling

最新推荐文章于 2023-12-18 16:08:34 发布

KrystalKarlieKarina

最新推荐文章于 2023-12-18 16:08:34 发布

阅读量466

点赞数

分类专栏：论文学习文章标签： Temporal Convolutional Networks 序列建模膨胀卷积残差连接深度学习

本文链接：https://blog.csdn.net/lovekkarlie_/article/details/118863153

版权

35 篇文章 5 订阅

订阅专栏

2018

Temporal Convolutional Networks(TCN)

Sequence Modeling
$f:{\mathcal X}^{T+1}\rightarrow {\mathcal Y}^{T+1}$
Causal Convolutions
tcn基于两个原则：输入与输出长度相同；未来没有可能泄露到过去。
Dilated Convolutions
1-D序列输入 ${\bf x}\in{\Bbb R}^n$ ，一个过滤器 $f:\{0,...,k-1\}\rightarrow {\Bbb R}$ ，膨胀卷积操作F $F(s)=({\bf x}*_df)(s)=\sum_{i=0}^{k-1}f(i)·{\bf x}_{s-d·i}$ ，其中d是膨胀系数，k是过滤器大小，s-d·i是过去的方向。d=1时是普通卷积，使用较大的膨胀能够使顶级输出表示更广泛的输入从而有效扩展了convnet的接收域。两种方法增加TCN接收域：选择较大的过滤器尺寸k，增加膨胀系数d。
Residual Connections
$o={\rm Activation}({\bf x}+{{\mathcal F(\bf x)})})$