An Empirical Evaluation of Generic Convolutional and Recurrent Networks for Sequence Modeling

最新推荐文章于 2023-12-18 16:08:34 发布
最新推荐文章于 2023-12-18 16:08:34 发布
阅读量495 收藏 2
点赞数
分类专栏： 论文学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/LoveKKarlie_/article/details/118863153
版权
该博客介绍了Temporal Convolutional Networks (TCN)在序列建模中的应用，强调其输入输出长度相等及未来信息不泄露到过去的原则。文章详细探讨了膨胀卷积（Dilated Convolutions）如何有效地扩展了模型的接收域，并提到了残差连接（Residual Connections）在TCN中的作用。TCN通过大过滤器尺寸和膨胀系数来增强序列捕捉能力。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

An Empirical Evaluation of Generic Convolutional and Recurrent Networks for Sequence Modeling

2018

文章地址https://arxiv.org/pdf/1803.01271.pdf
代码地址https://github.com/LOCUSLAB/tcn
https://blog.csdn.net/qq_33331451/article/details/104810419

Temporal Convolutional Networks(TCN)

  1. Sequence Modeling
    f : X T + 1 → Y T + 1 f:{\mathcal X}^{T+1}\rightarrow {\mathcal Y}^{T+1} f:XT+1→YT+1
  2. Causal Convolutions
    tcn基于两个原则：输入与输出长度相同；未来没有可能泄露到过去。
  3. Dilated Convolutions
    1-D序列输入 x ∈ R n {\bf x}\in{\Bbb R}^n x∈Rn，一个过滤器 f : { 0 , . . . , k − 1 } → R f:\{0,...,k-1\}\rightarrow {\Bbb R} f:{0,...,k−1}→R，膨胀卷积操作F F ( s ) = ( x ∗ d f ) ( s ) = ∑ i = 0 k − 1 f ( i ) ⋅ x s − d ⋅ i F(s)=({\bf x}*_df)(s)=\sum_{i=0}^{k-1}f(i)·{\bf x}_{s-d·i} F(s)=(x∗d​f)(s)=∑i=0k−1​f(i)⋅xs−d⋅i​，其中d是膨胀系数，k是过滤器大小，s-d·i是过去的方向。d=1时是普通卷积，使用较大的膨胀能够使顶级输出表示更广泛的输入从而有效扩展了convnet的接收域。两种方法增加TCN接收域：选择较大的过滤器尺寸k，增加膨胀系数d。
    在这里插入图片描述
  4. Residual Connections
    o = A c t i v a t i o n ( x + F ( x ) ) ) o={\rm Activation}({\bf x}+{{\mathcal F(\bf x)})}) o=Activation(x+F(x)))
TCN：An Empirical Evaluation of Generic Convolutional and Recurrent Networks for Sequence Modeling
weixin_43057295的博客
07-04 164
，其中每个隐藏层与输入层的长度相同，并且添加长度的零填充(kernel size − 1)以保持后续层与先前层的长度相同。全连接卷积和因果卷积，由于该设计本身在应对长时间序列时需要堆叠多层神经层的问题，采取膨胀卷积扩大感受野并引入残差连接思想。（1）Dilated Convolutions（扩张卷积）：采用扩张卷积，使指数大的感受野，对于。的历史和高维输入序列的情况下，可能需要多达12层的网络。模型的设计中，我们采用通用残差模块代替卷积层。和前一层中更早的元素卷积的卷积。，而不是其他时刻的输入。
【深度学习】TCN，An Empirical Evaluation of Generic Convolutional【一】
q742971636的博客
06-16 978
对于大多数深度学习从业者来说，序列建模几乎是循环网络的同义词。然而，最近的研究结果表明，在音频合成和机器翻译等任务上，卷积架构可以超越循环网络。面对新的序列建模任务或数据集时，应该选择哪种架构呢？我们对通用的卷积和循环架构进行了系统评估。模型在一系列常用于基准测试循环网络的标准任务上进行了评估。我们的结果表明，简单的卷积架构在多种任务和数据集上优于经典的循环网络（如LSTMs），并表现出更长的有效记忆。我们得出结论，序列建模与循环网络的常见关联应重新考虑，卷积网络应被视为序列建模任务的自然起点。
【论文阅读】An Empirical Evaluation of Generic Convolutional and Recurrent Networks for Sequence Modeling
m0_51324446的博客
02-10 4103
1.摘要 一般而言，序列模型与循环网络（recurrent networks）关系紧密(由于RNN的循环自回归结构能较好地表达出时间序列)。而传统的卷积网络（convolutional networks）由于卷积核大小的限制，对于长时间的依赖信息不能较好地抓取。 但是，研究发现，一些特殊的卷积神经网络模型在音频合成、机器翻译等任务上效果比递归神经网络更好。那么，对于一个新的任务，怎么选取网络结构呢？ 本文使用大量数据集对模型进行评估，发现简单的卷积结构在数据集的表现优于典型的循环网络（如LSTMs），
[论文总结]An Empirical Evaluation of Generic Convolution and Recurrent Networks For Sequence Modeling
weixin_42676396的博客
11-03 633
1. 提出的 Causal Dilated Conv + Residual Block 比基本的 LSTM、GRU 和 Vanilla RNN 的性能要好得多。 2.确认TCN比RNN家族表现出更长的记忆保留，确认RNN的“无限记忆”几乎没有实验结果。
论文笔记：An Empirical Evaluation of Generic Convolutional and Recurrent Networks for Sequence Modeling
travalscx的博客
04-23 845
An Empirical Evaluation of Generic Convolutional and Recurrent Networks for Sequence Modeling 相关知识： FCN https://blog.csdn.net/tuuzhang/article/details/81004731 causal convolution Dilated Convolutions ...
An Empirical Evaluation of Generic Convolutional and Recurrent Networks(中文版+注释)（时序预测）（TCN时域卷积网络）
qq_42194429的博客
06-11 3114
一般卷积和递归网络的经验评价 摘要 对于大多数深度学习从业者来说，序列建模是循环网络的代名词。然而，最近的结果表明，卷积架构可以优于音频合成和机器翻译等任务的循环网络。给定新的序列建模任务或数据集，应该使用哪个架构？我们对用于序列建模的通用卷积结构和递归结构进行了系统的评估。这些模型在广泛的标准任务范围内进行评估，这些标准任务通常用于对循环网络进行基准测试。我们的结果表明，简单的卷积体系结构优于规范循环网络，例如在各种任务和数据集中的LSTMS，同时展示更长的有效内存。我们的结论是，序列建模和递归网络之
An Empirical Evaluation of Generic Convolutional and Recurrent Networks for Sequence Modeling--论文阅读
熊熊小姐的博客
12-11 1792
An Empirical Evaluation of Generic Convolutional and Recurrent Networks for Sequence Modeling–论文阅读笔记 论文地址：https://arxiv.org/pdf/1803.01271.pdf TCN详解：TCN详解 尽管循环神经网络具有长期记忆的能力，但是CNN架构（文中的TCN）表现出更加长期的记忆能力. 1.1. Temporal Convolutional Networks 首先描述卷积序列预测的一般架构。
【深度学习论文阅读】TCN:An Empirical Evaluation of Generic Convolutional and Recurrent Networks for Sequence
热门推荐
Ray
05-03 1万+
2018年人工智能十佳论文之一：TCN 论文地址：An Empirical Evaluation of Generic Convolutional and Recurrent Networks for Sequence Modeling 项目地址：TCN的github链接 ABSTRACT 对于大多数 深度学习研究者而言，序列建模任务等价于RNN。但是最近的研究表明，在音频合成以及机器翻译等任务...
【论文阅读笔记】An Empirical Evaluation of Generic Convolutional and Recurrent Networks for Sequence Modelin
时光机 °的博客
01-29 1190
论文地址：An Empirical Evaluation of Generic Convolutional and Recurrent Networks for Sequence Modeling 代码地址：https://github.com/LOCUSLAB/tcn 论文总结   本文的方法名为TCN，本文没提出什么新的东西，主要是使用Causal Conv，Dilated Conv和residual block对时序序列进行预测，同时与传统的时序模型LSTM等循环和递归网络结构进行对比。然后在多个不同
An Empirical Evaluation of Generic Convolutional and Recurrent Networksfor Sequence Modeling
qq_59482564的博客
12-18 1173
对于大多数 深度学习研究者而言，序列建模任务等价于RNN。但是最近的研究表明，在音频合成以及机器翻译等任务上，CNN的表现胜过RNN。对于新的序列建模任务，RNN还是CNN，该如何选择？作者通过对用于RNN性能的标准任务来评估CNN的性能。结果证实，简单的CNN结构在不同的任务以及数据集上的性能优于LSTM这类典型的RNN模型。作者认为，应该重新考虑序列任务与RNN、CNN之间的联系，甚至是将CNN作为序列建模任务的起点。（作者在文中将其记做TCN）
序列建模：时间卷积网络取代RNN（An Empirical Evaluation of Generic Convolutional and Recurrent）论文 pdf
tyu1853的博客
05-31 753
下载地址：https://u20150046.ctfile.com/fs/20150046-376633283 作者：Shaojie Bai, J. Zico Kolter, Vladlen Koltun 论文摘要 对于大多数深度学习实践者来说，序列建模与循环网络是同义词。然而，最近的研究结果表明，卷积架构在语音合成和机器翻译等任务上的表现优于循环网络。给定一个新的序列建模任务或数据集，应该...
因果卷积（causal）与扩展卷积（dilated）之An Empirical Evaluation of Generic Convolutional and Recurrent Networks f
01-08 1037
最近在看关于NLP（自然语言处理）方面的文章，（其实不是自己要看），anyway，看了一个“An Empirical Evaluation of Generic Convolutional and Recurrent Networks for Sequence Modeling“，讲到了：虽然人们现在都在用RNN和LSTm去处理序列问题（sequencemodeling），但是明显最近几年这些模...
学习笔记：“一种对于序列模型的卷积与循环网络的通用性评价”
zpj1997的博客
12-01 637
An Empirical Evaluation of Generic Convolutional and Recurrent Networksfor Sequence Modeling
【神经网络】2018-ML-用于序列建模的通用卷积和循环网络的实证评估
weixin_42475026的博客
03-20 654
对于大多数深度学习从业者来说，序列建模是循环网络的同义词。然而最近的结果表明，卷积架构在音频合成和机器翻译等任务上的表现优于循环网络。给定一个新的序列建模任务或数据集，应该使用哪种架构？ 我们对用于序列建模的通用卷积和循环架构进行了系统评估。这些模型在广泛的标准任务中进行评估，这些任务通常用于对循环网络进行基准测试。我们的结果表明，简单的卷积架构在各种任务和数据集上都优于典型的循环网络，例如 LSTM，同时展示了更长的有效记忆。
An Empirical Exploration of Recurrent Network Architectures重点
kaka19880812的专栏
03-18 1741
RNN最优结构
论文阅读(通用CNN和RNN建模的经验评估)
暮木的博客
01-15 712
论文 An Empirical Evaluation of Generic Convolutional and Recurrent Networks for Sequence Modeling 摘要 最近的一些研究表明卷积神经网络在像语音合成以及机器翻译的任务上超过了循环神经网络。给定一个新的序列建模任务或者数据集，应该选用哪种架构，简单的卷积体系结构在各种任务和数据集上的表现优于常规递归网络（如LSTM），同时表现出更长的有效内存。我们得出结论，应该重新考虑序列建模与递归网络之间...
TricorNet: A Hybrid Temporal Convolutional and Recurrent Network for Video Action Segmentation 翻译
nclgsj1028的专栏
03-12 1343
本博文是对论文的翻译，如有不准确，请在评论中指出TricorNet: A Hybrid Temporal Convolutional  and Recurrent Network for Video Action Segmentation一种用于视频动作分割的时间卷积和递归混合网络关键词：hybrid temporal convolutional and recurrent network  混合...
TCN的原始论文
最新发布
04-17
<think>好的，用户想找TCN（时间卷积网络）的原始论文。首先，我需要确认TCN的原始论文是哪一篇。根据用户提供的引用内容，引用[2]提到TCN是由作者在某个时间提出的，用于序列建模，并比较了CNN与RNN、LSTM等的效果。但引用中没有直接给出论文标题或作者。 接下来，我需要回想一下TCN的相关信息。TCN通常与《An Empirical Evaluation of Generic Convolutional and Recurrent Networks for Sequence Modeling》这篇论文相关联，作者是Shaojie Bai、J. Zico Kolter和Vladlen Koltun，发表于2018年。这可能就是用户要找的原始论文。此外，用户提到的引用[3]提到论文获得了ACL 2018的最佳短文奖，但ACL通常处理自然语言处理，而TCN的论文可能发表于其他会议，比如ICML或arXiv预印本，需要确认。 可能用户混淆了不同的会议，或者引用[3]指的是另一篇相关论文。因此，需要指出可能的原始论文，并建议用户核对作者和会议信息。同时，提供arXiv链接方便用户访问，因为很多论文会先发布在那里。此外，生成相关问题帮助用户进一步了解TCN的结构和应用，如比较TCN与RNN、TCN的核心组件等。</think>TCN（Temporal Convolutional Network）的原始论文通常被认为是2018年由Shaojie Bai等人发表的《An Empirical Evaluation of Generic Convolutional and Recurrent Networks for Sequence Modeling》。这篇论文系统地提出了TCN的网络架构，并通过实验验证了其在序列建模任务中优于传统RNN、LSTM等模型的性能[^2]。 论文核心内容包括： 1. **因果卷积**（Causal Convolution）保证时序依赖关系不泄漏 2. **膨胀卷积**（Dilated Convolution）扩大感受野 $$ y_t = \sum_{k=0}^{K-1} w_k \cdot x_{t-d \cdot k} $$ 其中$d$为膨胀系数，$K$为卷积核大小 3. **残差连接**（Residual Connection）解决深层网络梯度消失问题[^2] 该论文最初发布于arXiv预印本平台： https://arxiv.org/abs/1803.01271
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值