LSTM Fully Convolutional Networks for Time Series Classification

参考资料

文章地址
代码地址

导读：

基于LSTM的全连接卷积神经网络用于时序数据分类，这是一篇17年的文章，该团队后续18年的工作Multivariate LSTM-FCNs for Time Series Classication 到目前位置仍然在多个时序分类任务中处于先进位置。18年的工作文章地址

摘要

原文：
全卷积神经网络(FCN)已被证明在时间序列分类任务上具有最先进的性能。我们提出用长短期记忆递归神经网络(LSTM RNN)子模块增强全卷积网络用于时间序列分类。我们提出的模型显著提高了全卷积网络的性能，模型大小有了名义上的增加，并且只需要对数据集进行最小的预处理。提出的长短期记忆全卷积网络(LSTM-FCN)与其他网络相比具有最先进的性能。我们还探索了使用注意机制改进时间序列分类的注意长短期记忆全卷积网络(ALSTM-FCN)。利用注意机制可以使LSTM细胞的决策过程可视化。此外，我们提出微调作为一种方法来提高训练模型的性能。对我们的模型的性能进行了全面分析，并与其他技术进行了比较。

其实该文章的ideal就是提出将FCN与LSTM结合构建模型，对时序数据进行分类。

介绍

先介绍了例如Bag-of-Words (BoW) Bag-of-SFA-Symbols (BOSS) Ensemble algorithms 等非深度学习的时序分类模型.占背景介绍里1/3笔墨。然后开始引入深度学习在时序分类中的应用，提到了MCNN FCN ResNet 等方法在时序分类中的应用：

MCNN采用下采样、跳过采样和滑动窗口对数据进行预处理。MCNN分类器的性能高度依赖于应用于数据集的预处理和该模型的大量超参数的调优。另一方面，FCN和ResNet不需要对数据或特征工程进行任何繁重的预处理。

然后提出文章的ideal：
在本文中，我们通过使用长短期循环神经网络(LSTM RNN)子模块(称为LSTM-FCN)或具有注意力的LSTM RNN(称为ALSTM-FCN)来增强FCN模块来提高FCN的性能。与FCN类似，两种提出的模型都可以用来可视化卷积层的类激活图(CAM)，以检测对类标签有贡献的区域。此外，注意力LSTM还可以通过注意力LSTM单元的上下文向量来检测输入序列中对类标签有贡献的区域。LSTM-FCN和ALSTM-FCN模型的一个主要优点是它不需要大量的预处理或特征工程。结果表明，新提出的模型LSTM-FCN和ALSTMFCN在加州大学河滨分校(University of California Riverside, UCR)基准数据集上显著提高了性能。在大多数UCR基准数据集上，LSTMFCN和ALSTM-FCN比几种最先进的集成算法产生更好的结果。

背景工作

先介绍了时序卷积，怎么对时序数据做卷积，然后介绍RNN是什么，LSTM是什么，通过注意力机制，帮助LSTM学习长序列中的长期依赖性方面存在的困难。然后介绍注意力机制。

本文模型

其实网络结构很清晰了，直接用文章对网络架构的描述：
LSTM全卷积网络
A.网络架构
时间卷积已被证明是时间序列分类问题的有效学习模型[10]。通常使用由时间卷积组成的全卷积网络作为特征提取器，并使用全局平均池化[19]在分类之前减少模型中的参数数量。在所提出的模型中，全卷积块由LSTM块增强，然后是dropout[20]，如图1所示全卷积块由三个堆叠的时间卷积块组成，滤波器大小分别为128、256和128。每个卷积块与Wang等人[10]提出的CNN架构中的卷积块相同。每个块由一个时间卷积层组成，伴随着批归一化13，然后是ReLU激活函数。最后，在最后的卷积块之后应用全局平均池化。同时，时间序列输入被传送到一个维度洗牌层(在第III-B节中有更多的解释)。然后将维度变换后的时间序列传递到LSTM块中。LSTM块由一般LSTM层或注意LSTM层组成。全局池化层和LSTM块的输出被连接并传递到softmax分类层。

如图示，上面一条路线是通过LSTM，下面路线是通过FCN，然后将结构concat，再经softmax进行分类。

Network Input
这里LSTM的输入格式跟FCN的输入格式是不一样的
例如 以一个多维的时序数据为例子，

• 输入到LSTM的时候，网络输入采用单个时间步长的多元时间序列接受。
• 输入到FCN的时候，网络采用多个时间步长的单变量时间序列接受。

实验

所提出的模型已经在所有85个UCR时间序列数据集上进行了测试[11]。FCN块在所有实验中保持不变。通过超参数搜索，在8 ~ 128个细胞范围内找到LSTM细胞的最优数量。训练周期数通常保持在2000个周期不变，但对于算法需要较长时间收敛的数据集，训练周期数会增加。初始批大小为128，每次迭代微调算法时将批大小减半。在LSTM或注意力LSTM层之后使用80%的高辍学率来对抗过拟合。类不平衡是通过类来处理的。受King等人[22]启发的称重方案。所有模型均通过Adam优化器进行训练[23]，初始学习率为1e-3，最终学习率为1e-4。初始化所有卷积核UCR数据集的平均值和单位方差接近于零。所有模型都经过了微调，表中所示的分数为模型在微调前后得到的分数。He等人提出的初始化[24]。在验证分数没有改善的情况下，学习率每100次降低1/2，直到达到最终学习率。没有进行额外的预处理

Multivariate LSTM-FCNs for Time Series Classication

顺便看一下18年工作的内容：
长短期记忆全卷积神经网络以及注意力-LSTM-FCN在单变量时间序列分类中已经取得了成功。然而，它们从未应用到多变量时间序列分类问题中。我们提出的：多变量LSTM_FCN以及多变量注意力LSTM-FCN，将它们各自的单变量模型转换为多变量变体。我们将挤压和激励块扩展到一维序列模型，增强了LSTM-FCN中的全卷积块，以加强分类准确性。

很容易可以看出，在原本的LSTM+FCN的FCN环节加上了当年很火的squeeze and excite：