An Empirical Evaluation of Generic Convolutional and Recurrent Networks for Sequence Modeling

最新推荐文章于 2023-12-18 16:08:34 发布
最新推荐文章于 2023-12-18 16:08:34 发布
阅读量438 收藏 2
点赞数
分类专栏： 论文学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/LoveKKarlie_/article/details/118863153
版权

Temporal Convolutional Networks 序列建模 膨胀卷积 残差连接 深度学习
关键词由CSDN通过智能技术生成

An Empirical Evaluation of Generic Convolutional and Recurrent Networks for Sequence Modeling

2018

文章地址https://arxiv.org/pdf/1803.01271.pdf
代码地址https://github.com/LOCUSLAB/tcn
https://blog.csdn.net/qq_33331451/article/details/104810419

Temporal Convolutional Networks(TCN)

  1. Sequence Modeling
    f : X T + 1 → Y T + 1 f:{\mathcal X}^{T+1}\rightarrow {\mathcal Y}^{T+1} f:XT+1→YT+1
  2. Causal Convolutions
    tcn基于两个原则：输入与输出长度相同；未来没有可能泄露到过去。
  3. Dilated Convolutions
    1-D序列输入 x ∈ R n {\bf x}\in{\Bbb R}^n x∈Rn，一个过滤器 f : { 0 , . . . , k − 1 } → R f:\{0,...,k-1\}\rightarrow {\Bbb R} f:{0,...,k−1}→R，膨胀卷积操作F F ( s ) = ( x ∗ d f ) ( s ) = ∑ i = 0 k − 1 f ( i ) ⋅ x s − d ⋅ i F(s)=({\bf x}*_df)(s)=\sum_{i=0}^{k-1}f(i)·{\bf x}_{s-d·i} F(s)=(x∗d​f)(s)=∑i=0k−1​f(i)⋅xs−d⋅i​，其中d是膨胀系数，k是过滤器大小，s-d·i是过去的方向。d=1时是普通卷积，使用较大的膨胀能够使顶级输出表示更广泛的输入从而有效扩展了convnet的接收域。两种方法增加TCN接收域：选择较大的过滤器尺寸k，增加膨胀系数d。
    在这里插入图片描述
  4. Residual Connections
    o = A c t i v a t i o n ( x + F ( x ) ) ) o={\rm Activation}({\bf x}+{{\mathcal F(\bf x)})}) o=Activation(x+F(x)))
KrystalKarlieKarina
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
【论文阅读】An Empirical Evaluation of Generic Convolutional and Recurrent Networks for Sequence Modeling
m0_51324446的博客
02-10 3770
1.摘要 一般而言，序列模型与循环网络（recurrent networks）关系紧密(由于RNN的循环自回归结构能较好地表达出时间序列)。而传统的卷积网络（convolutional networks）由于卷积核大小的限制，对于长时间的依赖信息不能较好地抓取。 但是，研究发现，一些特殊的卷积神经网络模型在音频合成、机器翻译等任务上效果比递归神经网络更好。那么，对于一个新的任务，怎么选取网络结构呢？ 本文使用大量数据集对模型进行评估，发现简单的卷积结构在数据集的表现优于典型的循环网络（如LSTMs），
论文笔记：An Empirical Evaluation of Generic Convolutional and Recurrent Networks for Sequence Modeling
travalscx的博客
04-23 738
An Empirical Evaluation of Generic Convolutional and Recurrent Networks for Sequence Modeling 相关知识： FCN https://blog.csdn.net/tuuzhang/article/details/81004731 causal convolution Dilated Convolutions ...
【深度学习论文阅读】TCN:An Empirical Evaluation of Generic Convolutional and Recurrent Networks for Sequence
热门推荐
Ray
05-03 1万+
2018年人工智能十佳论文之一：TCN 论文地址：An Empirical Evaluation of Generic Convolutional and Recurrent Networks for Sequence Modeling 项目地址：TCN的github链接 ABSTRACT 对于大多数 深度学习研究者而言，序列建模任务等价于RNN。但是最近的研究表明，在音频合成以及机器翻译等任务...
Empirical Evaluation of Gated Recurrent Neural Networks on Sequence Modeling rar
07-09
《Empirical Evaluation of Gated Recurrent Neural Networks on Sequence Modeling》这篇论文主要探讨了门控循环神经网络（Gated Recurrent Units, GRU）在序列建模中的应用与实证评估。GRU是循环神经网络...
An empirical evaluation of three preschool language curricula
06-29
An empirical evaluation of three preschool language curricula 296 Merrell SCHUMAKER, J., DESHLER, D., ALLEY, G., 8t WARNER, M. (1983). Toward the development of an intervention model for learning...
An Empirical Review of Deep Learning Frameworks for Change Dete
09-23
An Empirical Review of Deep Learning Frameworks for Change Detection Model Design, Experimental Frameworks, Challenges and Research Needs.zip
An empirical evaluation of camera calibration accuracy
01-20
sun 等三人，对三种常用标定方法的评估，以及使用标定细节
An empirical comparison of some techniques for the differentiation of handedness
06-29
An empirical comparison of some techniques for the differentiation of handedness AN EMPIRICAL COMPARISON OF SOME TECHNIQUES FOR THE DIFFERENTIATION OF HANDEDNESS MARGARET PROCYK AND RONALD E. ...
时序卷积网络（tcn）库文件
04-11
时间序列预测——时序卷积网络中用到的tcn库文件。
【论文阅读笔记】An Empirical Evaluation of Generic Convolutional and Recurrent Networks for Sequence Modelin
时光机 °的博客
01-29 1029
论文地址：An Empirical Evaluation of Generic Convolutional and Recurrent Networks for Sequence Modeling 代码地址：https://github.com/LOCUSLAB/tcn 论文总结   本文的方法名为TCN，本文没提出什么新的东西，主要是使用Causal Conv，Dilated Conv和residual block对时序序列进行预测，同时与传统的时序模型LSTM等循环和递归网络结构进行对比。然后在多个不同
An Empirical Evaluation of Generic Convolutional and Recurrent Networks(中文版+注释)（时序预测）（TCN时域卷积网络）
qq_42194429的博客
06-11 2806
一般卷积和递归网络的经验评价 摘要 对于大多数深度学习从业者来说，序列建模是循环网络的代名词。然而，最近的结果表明，卷积架构可以优于音频合成和机器翻译等任务的循环网络。给定新的序列建模任务或数据集，应该使用哪个架构？我们对用于序列建模的通用卷积结构和递归结构进行了系统的评估。这些模型在广泛的标准任务范围内进行评估，这些标准任务通常用于对循环网络进行基准测试。我们的结果表明，简单的卷积体系结构优于规范循环网络，例如在各种任务和数据集中的LSTMS，同时展示更长的有效内存。我们的结论是，序列建模和递归网络之
[论文总结]An Empirical Evaluation of Generic Convolution and Recurrent Networks For Sequence Modeling
weixin_42676396的博客
11-03 343
1. 提出的 Causal Dilated Conv + Residual Block 比基本的 LSTM、GRU 和 Vanilla RNN 的性能要好得多。 2.确认TCN比RNN家族表现出更长的记忆保留，确认RNN的“无限记忆”几乎没有实验结果。
序列建模：时间卷积网络取代RNN（An Empirical Evaluation of Generic Convolutional and Recurrent）论文 pdf
tyu1853的博客
05-31 688
下载地址：https://u20150046.ctfile.com/fs/20150046-376633283 作者：Shaojie Bai, J. Zico Kolter, Vladlen Koltun 论文摘要 对于大多数深度学习实践者来说，序列建模与循环网络是同义词。然而，最近的研究结果表明，卷积架构在语音合成和机器翻译等任务上的表现优于循环网络。给定一个新的序列建模任务或数据集，应该...
因果卷积（causal）与扩展卷积（dilated）之An Empirical Evaluation of Generic Convolutional and Recurrent Networks f
01-08 935
最近在看关于NLP（自然语言处理）方面的文章，（其实不是自己要看），anyway，看了一个“An Empirical Evaluation of Generic Convolutional and Recurrent Networks for Sequence Modeling“，讲到了：虽然人们现在都在用RNN和LSTm去处理序列问题（sequencemodeling），但是明显最近几年这些模...
学习笔记：“一种对于序列模型的卷积与循环网络的通用性评价”
zpj1997的博客
12-01 540
An Empirical Evaluation of Generic Convolutional and Recurrent Networksfor Sequence Modeling
An Empirical Evaluation of Generic Convolutional and Recurrent Networksfor Sequence Modeling
最新发布
qq_59482564的博客
12-18 940
对于大多数 深度学习研究者而言，序列建模任务等价于RNN。但是最近的研究表明，在音频合成以及机器翻译等任务上，CNN的表现胜过RNN。对于新的序列建模任务，RNN还是CNN，该如何选择？作者通过对用于RNN性能的标准任务来评估CNN的性能。结果证实，简单的CNN结构在不同的任务以及数据集上的性能优于LSTM这类典型的RNN模型。作者认为，应该重新考虑序列任务与RNN、CNN之间的联系，甚至是将CNN作为序列建模任务的起点。（作者在文中将其记做TCN）
An Empirical Evaluation of Generic Convolutional and Recurrent Networks for Sequence Modeling--论文阅读
熊熊小姐的博客
12-11 1710
An Empirical Evaluation of Generic Convolutional and Recurrent Networks for Sequence Modeling–论文阅读笔记 论文地址：https://arxiv.org/pdf/1803.01271.pdf TCN详解：TCN详解 尽管循环神经网络具有长期记忆的能力，但是CNN架构（文中的TCN）表现出更加长期的记忆能力. 1.1. Temporal Convolutional Networks 首先描述卷积序列预测的一般架构。
一维数据直接作为CNN的输入的相关文献
04-24
Koltun, “An empirical evaluation of generic convolutional and recurrent networks for sequence modeling,” arXiv preprint arXiv:1803.01271, 2018. 2. Y. Kim, “Convolutional neural networks for ...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值