u013250861的博客

一. 介绍异常检测（Anomaly detection）是目前时序数据分析最成熟的应用之一，定义是从正常的时间序列中识别不正常的事件或行为的过程。有效的异常检测被广泛用于现实世界的很多领域，例如量化交易，网络安全检测、自动驾驶汽车和大型工业设备的日常维护。以在轨航天器为例，由于航天器昂贵且系统复杂，未能检测到危险可能会导致严重甚至无法弥补的损害。异常随时可能发展为严重故障，因此准确及时的异常检测可以提醒航天工程师今早采取措施。1、异常类型2、异常检测方法1）直接检测：针对点异常，直接定位离群点

一、基于统计的算法（具有分布假设）1、针对单变量数据1.1 集中不等式集中不等式是数学中的一类不等式，描述了一个随机变量是否集中在某个取值附近1.2 马尔可夫不等式给出了一个实值随机变量取值大于等于某个特定数值的概率的上限。设X是一个随机变量，a>0为正实数，那么以下不等式成立：1.3 比切雪夫不等式马尔可夫不等式给出了随机变量处于区间 [a,+inf] 概率的上限估计。切比雪夫不等式则给出了随机变量集中在距离其数学期望值距离不超过a的区间上之概率的上限估计：1.4 统计置信度检验

对于机器学习方法，xgboost，随机森林及SVM这些都是可以用的，也没有说哪个模型好用，需要看具体的场景及实验，总之就是看效果说话。那么，用数据挖掘的方法关键在于特征工程，跟其他挖掘任务不同的是，时间序列的特征工程会使用滑动窗口，即计算滑动窗口内的数据指标，如最小值，最大值，均值，方差等来作为新的特征。对于深度学习方法，循环神经网络RNN用的最多也适合解决这类问题，但是，卷积神经网络CNN，及新出的空间卷积网络TCN都是可以尝试的。参考资料：关于时间序列预测的一些总结......

一、概述基于深度学习的时间序列异常检测算法，主要可以分为以下这么几种：针对正常数据进行训练建模，然后通过高重构误差来识别异常点，即生成式（Generative）的算法，往往是无监督的，如自编码器（Auto Encoder）类 或者回声状态网络（Echo State Networks）。对数据的概率分布进行建模，然后根据样本点与极低概率的关联性来识别异常点，如DAGMM通过标注数据，告诉模型正常数据点长什么样，异常数据点长什么样，然后通过有监督算法训练分类模型，也称判别式（Discriminativ

prophet 算法是基于时间序列分解（同上：seasonal、trend、residual）和机器学习的拟合来做的，它最适用于具有强烈季节性影响和多个季节历史数据的时间序列。Prophet 对缺失数据和趋势变化具有稳健性，并且通常可以很好地处理异常值。

时间序列-预测：自相关函数【ACF（AutoCorrelation Function）】

标准的ARIMA（移动平均自回归模型）模型允许只根据预测变量的过去值进行预测。该模型假定一个变量的未来的值线性地取决于其过去的值，以及过去（随机）影响的值。ARIMAX模型是ARIMA模型的一个扩展版本。该模型也被称为向量ARIMA或动态回归模型。ARIMAX模型类似于多变量回归模型，但允许利用回归残差中可能存在的自相关来提高预测的准确性。本文提供了一个进行ARIMAX模型预测的练习。还检查了回归系数的统计学意义。它们对应的是1951年3月18日至1953年7月11日这一时间段内的四周时间。

欢迎阅读我们的在线预测教材。本书的目的是对预测方法进行全面的介绍，并让读者快速上手每一种预测方法。我们没有详细讨论每种方法背后的理论细节，但读者可以从每个章节最后的参考文献中找到这些细节。本书适合三类读者：（1）在业界想做预测但没有受过该领域专业教育的人；（2）读商科的本科生；（3）MBA学生。在澳大利亚莫纳什大学我们将该书用作商学本科三年级的课程教材。在大部分章节中，我们假设读者熟悉初级统计学以及高中代数。有几个章节需要矩阵知识，但我们已做了标记。在每个章节的最后，我们给出了“扩展阅读”。

我们会使用torch.nn.LSTM()加载LSTM层。其参数定义如下：input_size是我们输入的数据的维度，可以理解为我们每一天数据的维度。在这个问题里，每一天我们有的数据只有价格，因此input_size是1。如果每一天数据有n个特征，那么input_size是n。是隐藏状态h的特征数。关于LSTM中的具体结构我还没有很清楚，可以查看一下知乎问题。在这里我认为可以随意设置。num_layers是我们要堆叠几个LSTM层。

ARIMA是一种非常流行的时间序列预测统计方法，它是自回归综合移动平均（Auto-Regressive Integrated Moving Averages）的首字母缩写。ARIMA模型建立在以下假设的基础上： 数据序列是平稳的，这意味着均值和方差不应随时间而变化。通过对数变换或差分可以使序列平稳。

时间序列-预测（Forcasting）:长序列预测【比如：基于前20天数据，预测接下来的第21-40天（长序列）的数据】

时间序列-预测（Forcasting）:短序列预测【比如：基于前20天数据，预测接下来的第21、22、23三天（短序列）的数据】

【论文阅读笔记】Time Series is a Special Sequence: Forecasting with Sample Convolution and Interaction - 知乎从两篇高影响力文章谈起

由于数据收集、传输和存储的限制，现实世界的MTS数据通常包含缺失值，使得应用现有的MTS预测模型（如线性回归和循环神经网络）变得不可行。在真实世界数据集上的实验结果表明LGnet对缺失值的MTS预测的有效性及其在各种缺失率下的鲁棒性。因此这篇论文通过联合探索局部和全局时间动态来研究具有缺失值的MTS预测的新问题。文中提出了一个新的框架LGnet，它从局部视角的估计中利用记忆网络来探索全局模式。因此，联合建模局部和全局时间动态对于具有缺失值的MTS预测非常有用。..................

绝大部分行业场景，尤其是互联网、量化行业，每天都会产生大量的数据。金融领域股票价格随时间的走势；电商行业每日的销售额；旅游行业随着节假日周期变化的机票酒店价格等；我们称这种不同时间收到的，描述一个或多种特征随着时间发生变化的数据，为时间序列数据（Time Series Data）。而时间序列预测做的就是通过多种维度的数据本身内在与时间的关联特性，利用历史的数据预测未来这么一件事情。

时间序列预测是许多领域的关键因素，如传感器网络监测(Papadimitriou和Yu 2006)、能源和智能电网管理、经济和金融(Zhu和Shasha 2002)和疾病传播分析在这些场景中，我们可以利用大量关于过去行为的时间序列数据来做出长期预测，即长序列时间序列预测(LSTF)。关键问题目前现有的模型对更长的时间序列预测时，预测效果会随着序列长度增加而不断降低。以LSTM为例进行实验数据分析。

论文针对的是时序预测问题（Time series forecasting，TSF），根据时间序列的特点创新性地提出了一个多层的神经网络框架sample convolution and interaction network（SCINet）用于时序预测。模型在多个数据集上都展示了其准确率上的优越性，且时间成本相对其他模型（如时序卷积网络TCN）也更低。

在各类大数据研究中，有一类数据是按照时间顺序排列、随时间迁移不断变化的，称为时间序列(Time Series)。时间序列广泛的存在于各行各业中，如 医学医疗、金融财经、水文分析、电力等领域。此外，在生物 基因、物体形态识别等与时间顺序无明显关联的数据类型中，也可以按照一定的规则将其转换成时间序列模式，进而利用时间序列数据挖掘技术进行分析。鉴于时间序列具有数据量大、数据维度高、持续积累等特性，如何从中挖掘潜在的规律和信息已经成为学术界与工业界的研究热点。时间序列数据挖掘已经成为了二十一世纪十大最具挑战性数据挖

用于支撑”长时间序列”相关的研究。所有的数据都经过了预处理，并且以.csv的格式存储。这些数据的时间跨度为2016年7月到2018年7月。

有一个名为hctsa的matlab包，可用于从时间序列中自动提取特征。tsfresh用于从时间序列和其他序列数据中进行系统特征工程。这些数据的共同点是它们按自变量排序。最常见的自变量是时间（时间序列）。tsfresh用于从时间序列和其他序列数据中进行系统特征工程。这些数据的共同点是它们按自变量排序。最常见的自变量是时间（时间序列）。tsfresh自动计算并自动返回所有这些特征。tsfresh可以自动计算大量的时间序列特性，包含许多特征提取方法和强大的特征选择算法。时间序列数据通常用于离线操作）...