整理：4篇论文改进LSTM模型于时间序列预测，为实际问题的解决提供新的有效手段

LSTM最初设计用于解决传统递归神经网络在处理长期依赖关系时的不足，其独特的门控机制使其能够有效记忆和遗忘信息。然而，尽管LSTM在许多应用中表现优异，仍然存在对复杂数据模式的捕捉能力不足和训练效率低下等问题。为了解决这些挑战，研究人员提出了多种改进LSTM的方法。这些改进通过结合其他深度学习技术、引入注意力机制、调整网络结构等策略，旨在提升LSTM在时间序列预测中的性能。例如，某些研究通过加入卷积层来提取局部特征，增强LSTM对时序数据的学习能力；另一些研究则采用注意力机制，使模型能够更灵活地关注输入序列中的重要时间点，从而提高预测的准确性。

随着对改进LSTM模型的深入研究，许多学者探索其在金融市场、交通流量预测和气象数据分析等不同领域的应用潜力。这些研究不仅展示了改进LSTM模型在处理复杂数据中的优势，也为未来的时间序列预测提供了新的视角和方法。接下来，将介绍四篇应用改进LSTM模型于时间序列预测的相关论文，展示这些创新如何为实际问题的解决提供有效的手段。

论文1

Multiple Instance Learning for Efficient Sequential Data Classification on Resource-constrained Devices

方法：

我们研究了在微型设备上快速高效地分类序列数据（如时间序列）的问题，这对于各种物联网相关应用（如音频关键词检测或手势检测）至关重要。这些任务通过在数据流上滑动窗口来构建数据点，从而被视为标准分类任务。在微型设备上部署这些分类模块具有挑战性，因为需要以高频率持续进行滑动窗口的数据预测。每个预测实例本身是昂贵的，因为它评估大型模型对长数据窗口的计算。在本文中，我们通过利用关于典型物联网应用中的分类任务的两个关键观察来解决这个挑战：(a) 特定类别的“特征”（例如音频关键词）通常只占总体数据的一小部分；(b) 类别特征在数据中的早期部分往往是显而易见的。我们提出了一种称为EMI-RNN的方法，利用这些观察，通过采用多实例学习的形式以及早期预测技术，学习出一个能够在减少大量计算的同时，取得比基线模型更好准确性的模型。例如，在一个手势检测基准测试中，EMI-RNN所需的计算量比标准LSTM少72倍，同时提高了1%的准确率。这使我们能够在像Raspberry Pi Zero和Arduino变种这样的小型设备上进行持续的实时预测，而基线LSTM模型无法实现这一任务。最后，我们还在一个简单的设置中对我们的多实例学习算法进行了分析，展示了所提出的算法以线性速率收敛到全局最优解，这是该领域中首个此类结果之一。

创新点：

（1）提出了一种新的MIL框架，通过将序列数据点拆分为多个实例，利用仅有少数正实例的特性，提高了时间序列数据分类的准确性和效率。

（2）引入早期分类机制，允许模型在观察前几个时间步后进行预测，同时采用迭代阈值技术增强模型对噪声数据的鲁棒性，显著减少了计算资源的消耗。

（3）尽管算法以LSTM为基础，但具有独立于架构的灵活性，适用于其他RNN模型。同时，提供了对算法的理论分析，证明了在存在大量噪声的情况下，算法能有效收敛至最优解。

结果：

论文2

Long-Term Forecasting using Higher-Order Tensor RNNs

方法：

我们提出了高阶张量递归神经网络（HOT-RNN），这是一种新颖的神经序列架构，旨在处理具有非线性动态的多变量预测。在这种系统中进行长期预测极具挑战性，因为存在长期时间依赖性、高阶相关性以及对误差传播的敏感性。我们提出的递归架构通过直接利用高阶矩和高阶状态转移函数来学习非线性动态，从而解决了这些问题。此外，我们通过张量列分解来简化高阶结构，从而减少参数数量，同时保持模型性能。我们理论上建立了HOT-RNN对一般序列输入的近似保证和方差界限。我们还在一系列具有非线性动态的模拟环境以及真实世界的时间序列数据上，展示了相较于一般RNN和LSTM架构，HOT-RNN在长期预测上提高了5%到12%的性能。

创新点：

（1）我们提出了一种新颖的递归神经网络家族——高阶张量递归神经网络（HOT-RNN），用于编码非马尔可夫动态和高阶状态交互。为了解决内存问题，我们提出了一种张量列分解，使学习过程变得可行。

（2）我们为HOT-RNN在非线性动态下的表达能力提供了理论保证，并描述了目标动态及其HOT-RNN表示。相比之下，标准递归网络并没有类似的理论结果。

（3）我们展示了HOT-RNN在模拟数据和具有非线性动态的真实环境中，相比于标准RNN和LSTM，能够在显著更长的时间范围内进行更准确的预测。

结果：

论文3

FourierGNN: Rethinking Multivariate Time Series Forecasting from a Pure Graph Perspectives

方法：

多变量时间序列（MTS）预测在许多行业中具有重要意义。目前，基于图神经网络（GNN）的前沿预测方法通常需要同时使用图网络（如GCN）和时间网络（如LSTM）来捕捉序列间（空间）动态和序列内（时间）依赖。然而，这两种网络的不确定兼容性增加了手工模型设计的负担。此外，分开的空间和时间建模自然违反了现实世界中的统一时空相互依赖关系，严重影响了预测性能。为了解决这些问题，我们探索了一种有趣的方向，即直接应用图网络，并从纯图的角度重新思考MTS预测。我们首先定义了一种新颖的数据结构——超变量图，将每个序列值（无论是变量还是时间戳）视为图节点，并将滑动窗口表示为时空全连接图。这种视角将时空动态统一考虑，并将经典的MTS预测重新表述为对超变量图的预测。然后，我们提出了一种新架构——傅里叶图神经网络（FourierGNN），通过堆叠我们提出的傅里叶图算子（FGO）在傅里叶空间中执行矩阵乘法。FourierGNN具备足够的表达能力，并且实现了更低的复杂度，能够有效高效地完成预测。此外，我们的理论分析揭示了FGO在时间域与图卷积的等效性，进一步验证了FourierGNN的有效性。在七个数据集上的大量实验表明，与最先进的方法相比，我们的方法具有更高的效率和更少的参数。

创新点：

（1）提出了一种新颖的超变量图数据结构，将多变量时间序列统一视为一个时空全连接图，从而同时捕捉内部和外部的时空动态，克服了传统方法在空间和时间建模上的兼容性问题。

（2）引入了一种新架构，利用傅里叶图算子（FGO）进行图操作，在傅里叶空间中执行矩阵乘法，实现了更低的计算复杂度（对数线性复杂度），同时保持了足够的学习表达能力，提升了多变量时间序列的预测效率。

（3）在七个真实世界数据集上进行广泛实验，结果显示FourierGNN在准确性上平均提高超过10%，并且在训练时间和参数量上分别减少约14.6%和20%，显著优于现有的最先进方法。

结果：

论文4

Grasp stability prediction with time series data based on STFT and LSTM

方法：

随着机器人需求的不断增加，机器人抓取将在未来应用中扮演更加重要的角色。本文将抓取稳定性预测作为抓取技术的关键，尝试通过时间序列数据（包括力和压力数据）来解决这一问题。广泛应用于多个领域，使用时间序列数据预测不稳定抓取的算法将显著推动人工智能在传统行业中的应用。本研究调查了结合短时傅里叶变换（STFT）和长短期记忆（LSTM）的模型，并测试了其在灵巧手和吸盘夹持器上的通用性。实验表明，利用力数据进行抓取稳定性预测的效果良好，且在压力数据中的推广结果也令人满意。在四个模型中，(数据 + STFT) & LSTM表现最佳。我们计划在抓取稳定性预测方面进行更多工作，将研究结果推广到不同类型的传感器，并在实际生活中的更多抓取应用场景中进行应用。

创新点：

（1）论文探讨了结合力、扭矩和压力传感器数据的抓取稳定性预测，利用机器学习方法挖掘不同传感器的潜力，以提高抓取过程中的稳定性判断。

（2）提出了一种基于滑动信号的预测机制，通过监测相对位置变化和振动信号，能够在滑动发生之前预测不稳定状态，从而增强抓取的安全性和可靠性。

（3）将短时傅里叶变换（STFT）与长短期记忆网络（LSTM）相结合，利用频率成分进行滑动检测，显著提高了抓取稳定性预测的准确性和反应速度。

结果：