第一次组会2022.12.9

惊鸿女孩儿

于 2023-03-30 14:31:59 发布

阅读量102

点赞数

文章标签：深度学习神经网络人工智能

本文链接：https://blog.csdn.net/weixin_48482177/article/details/129856616

版权

该论文提出了一种结合LSTM和全卷积网络的时间序列分类方法，通过使用注意力机制提升了模型性能。LSTM-FCN模型包括全卷积块和LSTM块，维度洗牌层优化了训练效率。实验显示，该模型在时间序列任务中表现出色，适用于文本分析、音乐识别等领域，且适合实时和嵌入式系统。

摘要由CSDN通过智能技术生成

导师让我们去看时间序列和金融的论文，一开始啥也不懂，不知道怎么找到想要的论文，想找时间序列和金融结合的，没有找到，就随便找了一个关于时间序列的文章，《LSTM Fully Convolutional Networks for Time Series Classification》翻译过来就是《用于时间序列分类的LSTM完全卷积网络》印象中这是一篇期刊，还不知道怎么看论文是哪一类期刊或者回忆呢。总结一下这个论文。
**

关键思想

提出用长短时记忆递归神经网络（LSTM RNN）子模块来增强全卷积网络，用于时间序列分类。还探索了使用注意力机制来改善时间序列分类，即注意力长短时记忆完全卷积网络（ALSTM-FCN）。利用注意力机制可以使LSTM单元的决策过程可视化。

LSTM-FCN模型

在这里插入图片描述
左半部分：完全卷积块由三个堆叠的时间卷积块组成，滤波器大小分别为128、256和128。每个块由一个时间卷积层组成，伴随着批量归一化，然后是一个ReLU激活函数。在最后的卷积块之后，应用全局平均池化。
右半部分：时间序列的输入被输送到维度洗牌层。来自维度洗牌的转换后的时间序列被传递到LSTM块。全卷积区块被一个LSTM区块所增强，然后是丢弃层。
全局池化层和LSTM块的输出被串联起来，并传递到softmax分类层。
维度洗牌层（Dimension Shuffle）作用：提高了该模型的效率，需要的训练时间减少了一个数量级。
当一个有N个时间步骤和M个变量的数据集使用没有维度洗牌的LSTM时，LSTM将需要N个时间步骤来处理一批M个变量。相比之下，对输入进行维度洗牌将使LSTM模型在M个时间步数内处理一批N个变量。只要变量的数量M明显小于时间步数N，维度洗牌将大大改善训练的速度。
由于每一个UCR数据集都是单变量的，这个模型的LSTM组件只需要1个时间步骤来处理一批N个变量。
如果没有维度洗牌，在所有85个UCR数据集上训练各自的模型将需要超过100个小时。

实验懒得记录了

结论

LSTM-FCNs能够增强FCN模型，在名义上增加参数数量的情况下明显提高其性能。ALSTM-FCNs使人们能够直观地检查LSTM RNN的决策过程，并为其自身提供了一个强大的基线。与FCN模型相比，性能的强劲提升表明LSTM RNN可以有益地补充FCN模块在时间序列分类中的性能。对我们模型的性能进行了全面分析，并与其他技术进行了比较。
由于该模型输入的通用性，它在几个序列建模任务上具有广泛的适用性，如文本分析、音乐识别和语音检测。
此外，由于其体积小、效率高，它可以很容易地部署到实时系统或嵌入式系统。
总结来说，时隔四个月再回去看当时汇报的PPT真的好陌生，啥东西都不记得了。
总结一下不懂的名词，攒一攒再看：Relu函数好像看过但看了就忘、时间卷积块、维度洗牌层好抽象、丢弃层、全局池化层、softmax分类层
这篇论文有点老了，没啥参考价值，但还是记录一下，以示尊重。