【论文阅读】An Empirical Evaluation of Generic Convolutional and Recurrent Networks for Sequence Modeling

最新推荐文章于 2024-06-16 10:22:54 发布

原创

最新推荐文章于 2024-06-16 10:22:54 发布 · 4.3k 阅读

42 ·

CC 4.0 BY-SA版权

文章标签：

#深度学习 #rnn #cnn #时序模型

1.摘要

一般而言，序列模型与循环网络（recurrent networks）关系紧密(由于RNN的循环自回归结构能较好地表达出时间序列)。而传统的卷积网络（convolutional networks）由于卷积核大小的限制，对于长时间的依赖信息不能较好地抓取。

但是，研究发现，一些特殊的卷积神经网络模型在音频合成、机器翻译等任务上效果比递归神经网络更好。那么，对于一个新的任务，怎么选取网络结构呢？

本文使用大量数据集对模型进行评估，发现简单的卷积结构在数据集的表现优于典型的循环网络（如LSTMs），并且表现出更长的有效记忆(effective memory)。

本文得到结论：循环网络和序列模型之间的关联应该被重新考虑；卷积网络是序列模型任务的自然出发点(natural starting point)。

2.知识补充

2.1时间序列

对于 $\{x_0,x_1,...,x_T\}$ 输入的序列，希望预测每一时刻对应的输出 $\{y_0,y_1,...,y_T\}$ ；从而产生映射 $f:x^{T+1}->y^{T+1}$ ,其中 $\hat{y}$ 是对应值，需要满足因果约束：

$\hat{y}$ 仅由 $\{x_{0},x_{1},...,x_{t}\}$ 决定，而不由 $\{x_{t+1},...,x_{T}\}$ 决定。

学习目标：找到网络f，使得实际输出与预测之间的损失函数 $\{L(y_0,y_1,...,y_T,f(x_0,...,x_T))\}$ 最小

2.2神经网络概述

基本神经网络包含：输入层、隐含层、输出层。各层之间使用权值连接，激活函数控制输出，神经网络通过学习得到各层之间的权值。

2.3 经典循环网络（RNN，LSTM，GRU）

2.3.1 RNN循环神经网络(Recurrent Neural Network)

区别于原始全连接神经网络图（如下）中，每一层之间都是相互独立的；同一层内的每个节点又是相互独立的。即每次输入与前面的输入是无关的，不能较好地处理序列信息。

在这里插入图片描述

RNN是用于处理序列数据的神经网络。基本结构图如下

而循环神经网络，如果忽略隐藏层中的w，则与全连接神经网络结构是一致的，RNN只是在此基础上加入了一个循环的结构。循环层W按时间线展开后，得到如下输入与权重：

U是输入层到隐藏层的权重矩阵，V是隐藏层到输出层的权重矩阵，W是上一时刻的隐藏层的值传入到下一时刻的隐藏层时的权重矩阵。
Xt是t时刻的输入，是一个(x0,x1,x2…xn)的向量；St是t时刻的隐藏层的值；Ot是t时刻RNN网络的输出。网络在t时刻接受了输入Xt之后，隐藏层的值是St，输出的值是Ot。

但是St并不单单只是由Xt决定，还与t-1时刻的隐藏层的值St-1有关。所以在RNN网络中特有的循环操作是：

每个时刻t计算对应隐藏层的值，并且将该隐藏层的值传到下一时刻，实现了信息传递。