pytorch增加一维_WaveNet的Pytorch实现

时间序列数据通常出现在不同的领域，如经济、商业、工程和许多其他领域，并且可以有不同的应用。使用机器学习进行时间序列建模已经成为新的发展趋势。主要的任务目标包括异常检测和回归预测。递归神经网络(RNNs)和卷积神经网络(CNNs)在时间序列建模问题上取得了良好结果。

CNN应用于时间序列的代表即TCN，又被称为因果卷积。TCN与RNNs相比，具有如下的优势：

（1）并行性。与 RNN 中后继时间步长的预测必须等待之前时间步完成预测不同，卷积可以并行完成，因为每一层都使用相同的滤波器。因此，在训练和评估中，TCN 可以处理一整个较长的输入序列，而不是像 RNN 中那样顺序处理。

（2）灵活的感受野大小。TCN 有多种方式更改其感受野大小。其中目前表现最好的即WaveNet使用的扩大卷积（dilated convolution）。

（3）梯度稳定。TCN的反向传播与RNN相比明显不同，而且通过引入残差连接和跳跃连接，能够有效缓解和避免梯度爆炸和梯度消失现象。

了解WaveNet，必须了解如下的三个概念（1）扩大因果卷积（2）PixelCNN门激活（3）跳跃连接和残差连接

扩大因果卷积

图1 因果卷积示意图

因果卷积确保了模型输出不会违反数据的顺序：模型在 t 时刻输出的预测不会依赖任何一个未来时刻的数据，但是直接采用上述的因果卷积，为了使得模型能够捕捉长期依赖，模型必须拥有足够大的感受野，只能通过增加模型的深度和卷积核的大小，然而这将带来参数数量的迅速增加。WaveNet使用堆叠式扩大卷积层，这种卷积只需要几层就能获得很大的感受野，同时保留了输入分辨率和计算效率。

扩大因果卷积