[文献阅读]Detecting Spacecraft Anomalies Using LSTMs and Nonparametric Dynamic Thresholding

使用LSTM和非参数的动态阈值检测航天器的异常，发表在2018年的KDD上。

ABSTRACT

   随着航天器返回越来越多的遥测数据，需要改进异常检测系统以减轻操作工程师的监控负担并降低操作风险。当前的航天器监视吸引同仅针对一部分的异常类型，并且由于这些数据异常涉及到的规模以及复杂性，常常需要高昂的人力成本来维护和开发。
   1.我们证明在标记SMAP卫星和Curiosity火星车的异常数据上，LSTM（RNN的一种）的有效性。
   2.我们还提出了在SMAP异常检测系统中实验实施期间开发的一种互补的，无监督的非参数异常阈值的处理方法。
   3.并且提供了减少false positive的策略，以及在开发中获得的其他关键改进和经验教训。

1.INTRODUCTION

   航天器是非常复杂且昂贵的机器，具有数千个遥测通道，包括温度，辐射，功率，仪器和计算活动等方面。 鉴于这些通道的复杂性和成本，监视这些通道是航天器运行的重要且必要的组成部分。 无法检测和响应潜在危险的环境可能导致航天器全部或部分损失，异常检测是向运维工程师发出意外行为警报的关键工具。
   当前用于航天器遥测的异常检测方法主要由分层警报组成，这些警报指示何时值偏离预定范围，以及对可视化和汇总通道统计信息进行手动分析。 少数航天器也已经实现了专家系统和基于最近邻的方法。需要定义和更新正常值的范围以进行不间断的分析和遥测。
基于统计和密度的方法也很容易错失掉异常。
   随着计算和存储能力的提升，遥测数据量的增加导致这些问题更加严重。NISAR卫星每天产生85TB的数据，这代表这个地球科学卫星的数据成指数级增长。任务的复杂性和时间框架的紧凑型都要求改进异常检测的解决方案，比如木卫2登陆艇要在木卫2表面上停留20-40天，在此期间需要地面的密集监控，因此，异常检测方法的精确于速度都会有助于分配此类任务相关的有限工程资源。
   多元时间序列数据中异常检测所面临的挑战在航天器遥测中也同样存在。由于缺少标记，所以必须使用无监督或者半监督的方法，现实世界中的系统通常是高度不稳定的，并且取决于当前环境，被检测的数据通常是多种多样的，由噪声的，高维的。在将异常检测用作诊断工具的情况下，需要一定程度的可解释性，识别航天器上的潜在问题而没有提供对于其本质的见解，对于工程师的价值有限。最后，必须要基于给定的情景在假阳性于假阴性之间找到合适的平衡。

   本篇论文的贡献
   本文中，作者改编和扩展了来自各个领域的方法，以解决或平衡上述的问题。这项工作通过航天器异常检测来介绍，但通常适用于大多数涉及多变量的时间序列数据异常检测的应用。
   1.作者使用了长短期记忆（LSTM）来实现较高的预测性能，同时保持整个系统的可解释性。
   2.生成预测模型后，作者提供了一种非参数的，动态的，无监督的阈值方法来评估残差。这种方法解决了在根据行为和价值对数据流的特征自动设置阈值时的多样性，不稳定性，以及噪声的问题。
   3.文章同时介绍了利用用户反馈和历史数据来提升系统稳定性和性能的方法。
   4.作者使用来自突发事件异常，火星科学实验室（MSL），好奇号火星车，SMAP卫星的真实数据以及专家的标记来提供实验结果，工作人员使用这些报告来处理影响航天器的意外事件，并将其应用于发射之后有潜在风险的操作。
   5.最后，作者重点介绍了通过早期实施部署SMAP任务系统的里程碑，提升，改进和观察结果，并提供了方法和数据以及开源代码，供更广泛的研究使用。

2. BACKGROUND AND RELATEDWORK

   大量的异常检测提供了多种异常类型的定义，对于时间序列的数据，我们只需要考虑三种异常：点异常，上下文异常，集体异常。点异常时落在低密度区域内的单个值，集体异常表示序列是异常的，而不是任何单个值本身，上下文异常是不属于低密度区域的单个值，但是关于上下文反常。我们使用这些特征来辅助比较异常检测方法，并进一步从SMAP和MSL来剖析航天器的异常。
   多种应用程序，多种数据类型和多种异常类型保证了已经存在各种各样的异常检测方法。
   1.简单形式的异常检测有out-of-limits方法，通过提前定义阈值和原始数据值来检测异常。
   2.对OOL方法的改进有基于聚类的方法，基于最临近的方法，专家系统，降低维度等等方法。
   这些方法都已经在各种用例中证明是有效的，但每种方法都具有其自身的缺点，这些缺点与参数的规范，可解释性，可归纳性，计算开销等等因素有关。
   最近，RNN已经在各种序列的学习上表现出了先进的性能，并在各种领域都展现出了有效性，以下各节中，作者将讨论在先前航空航天应用中的方法的缺点，以及展现RNN应对这些挑战的能力。

2.1 Anomaly Detection in Aerospace

   上一节提到的许多方法都已经应用于航天器。
   应用于航天器的各种先前检测方法表明他们得到了最广泛的应用，但OOL仍然是航空航天工业中使用的最广泛的异常检测形式，尽管有许多局限性，但OOL方法因为许多因素广受欢迎，包括计算成本低，适用范围广，易于理解。较复杂的异常检测方法中可能不存在这些因素。NASA的Orca和IMS工具采用了最邻近和聚类的方法成功的检测了MER工程师在STS-115任务上发现的所有异常（高recall）但同时夜间过许多非异常的事件识别为异常（低精度），因此需要做更多的工作来减少误报。
   IMS使用基于聚类的方法，将先验数据表示为四个特征：平均值，标准差，最大值和最小值，并且需要仔细设置事件窗口的参数。作为一种神经网络，由