【无标题】

25篇论文阅读笔记

提示：这里可以添加系列文章的所有文章的目录，目录需要自己手动添加
例如：第一章 Python 机器学习入门之pandas的使用

---

提示：写完文章后，目录可以自动生成，如何生成可参考右边的帮助文档

---

前言

提示：这里可以添加本文要记录的大概内容：

关于时序预测的论文阅读

提示：以下是本篇文章正文内容，下面案例可供参考

1、Do We Really Need Deep Learning Models for Time Series Forecasting?

时间序列预测真的需要深度学习模型吗?

https://link.zhihu.com/?target=https%3A//github.com/Daniela-Shereen/GBRT-for-TSF

传统的预测模型依赖于滚动平均线 rolling averages、向量自回归 vector auto-regression 和自回归综合移动平均线and auto-regressive integrated moving averages。另一方面，深度学习和矩阵分解模型最近被提出以更有竞争力的性能来解决相同的问题。然而，这种模型的一个主要缺点是，与传统技术相比，它们往往过于复杂。

在本文中，我们报告了著名的深度学习模型与著名的机器学习基线，梯度提升回归树(GBRT)模型的结果。与深度神经网络(DNN)模型相似，我们将时间序列预测任务转换为基于窗口的回归问题。此外，我们对GBRT模型的输入和输出结构进行特征工程，对每个训练窗口，将目标值与外部特征进行拼接，然后将其扁平化，形成多输出GBRT模型的一个输入实例。我们对过去几年在顶级会议上展示的8个最先进的深度学习模型的9个数据集进行了比较研究。结果表明，基于窗口的输入转换提高了一个简单的GBRT模型的性能，其水平超过了本文评估的所有最先进的DNN模型。

梯度提升回归树(GBRT) 预测->基于窗口的回归问题

8个模型 9个数据集

基于窗口的输入转换提高了一个简单的GBRT模型的性能，其水平超过了本文评估的所有最先进的DNN模型。
（深度学习可能不如机器学习）

1.在时间序列预测的基于窗口的学习框架中，仔细配置GBRT模型的输入和输出结构会有什么影响?
2. 一个简单而配置良好的GBRT模型与最先进的深度学习时间序列预测框架相比如何?

GBRT. 我们将一个简单的机器学习方法，GBRT，提升到竞争DNN时间序列预测模型的标准，首先将其放入一个基于窗口的回归框架，其次对模型的输入和输出结构进行特征工程，使其最大限度地受益于额外的上下文信息。

与简单配置的基线的比较：为了强调时间序列预测模型的输入处理的重要性，我们以经验证明了为什么基于窗口的GBRT输入设置比传统配置模型(如ARIMA和时间序列预测领域的原始GBRT实现)生成的预测性能更好。

我们研究了GBRT对各种先进的深度学习时间序列预测模型的性能，并证明了它在两种类型的时间序列预测任务(单变量和多变量)上的竞争力。

LSTNet：局部多变量模式，由卷积层建模和长期依赖，由循环网络结构捕获。

DARNN：首先，将模型输入通过输入注意机制传递，然后使用带有额外时间注意机制的编码器-解码器模型。该模型最初是在两个多变量数据集上进行评估的，但由于其对单变量数据集的直接适用性。

DeepGlo：是基于一个由时间卷积网络正则化的全局矩阵分解结构。该模型合并了从日期和时间戳派生的其他通道，最初在单变量数据集上评估。

TFT：是本研究中采用的最新的DNN方法。强大的框架将用于本地处理的循环层与用于捕获数据中的长期依赖关系的典型转换器自我关注层结合在一起。该模型不仅可以在学习过程中动态地关注相关特征，还可以通过门控机制抑制那些不相关的特征。

DeepAR：是一种自回归概率RNN模型，它在额外的时间和分类协变量的帮助下估计时间序列的参数分布。的开源实现DeepAR (GluonTS[1])声称自己只是“类似”[17]中描述的架构,我们preferrably比较与出版标准化偏差结果(称为W猿在随后的结果表),而不是从头开始重新实现它。

DeepState：是一个概率生成模型，它学习使用rnn参数化线性状态空间模型。类似DeepAR,开源实现技术可以通过GluonTS[1],但在这种情况下繁殖的hyperparameters发表结果不明确表示在,也鼓励我们参与交头接耳地比较关于出版标准化偏差的结果。

DAQFF：由两个阶段的特征表示组成;数据经过三个一维卷积层、两个双向LSTM层和一个线性层进行预测。从模型名称可以推断出，这个框架是明确构建来预测空气质量的，因此根据表1中列出的各自的多变量数据集进行评估。

2、CAMul: Calibrated and Accurate Multi-view Time-Series Forecasting

https://github.com/AdityaLab/CAMul

校准和精确的多视图时间序列预测

我们提出了一个通用的概率多视图预测框架CAMul，它可以学习来自不同数据源的表示和不确定性。它以一种动态的特定环境的方式集成了来自每个数据视图的信息和不确定性，赋予有用的视图更多的重要性，以建立一个校准良好的预测分布模型。我们将CAMul用于具有不同来源和模式的多个领域，并表明CAMul在准确性和校准方面优于其他先进的概率预测模型25%以上。

在本文中，我们的工作解决了建模的挑战，以及整合来自每个数据视图的信息和不确定性，以提供准确和良好校准的时间序列预测。我们引入了一个通用的多视图概率时间序列预测框架CAMul(校准和准确的多视图预测)。联合模型的不确定性从多个观点独立使用一个潜在的嵌入分布。然后，通过考虑特定于给定序列的可靠性，它将这些视图以上下文敏感的机制组合在一起，从而提供校准良好和准确的预测。为了了解获取每个数据源相关信息的特定视图分布，我们使用了非参数建模框架。我们直接使用函数空间中每个视图的训练集中的数据点的潜在嵌入，从而允许灵活地表示依赖于之前看到的类似模式的预测分布。

1.本文在不考虑数据结构的情况下，提出了一个用于多模态和多源数据概率时间序列预测的通用框架CAMul。我们的非参数概率模型利用在每个数据视图的潜在数据点表示之间学习到的概率关系来解释每个视图的不确定性。
2.整合多视图的不确定性以实现校准预测:CAMul利用来自每个视图的潜在信息和不确定性，并仔细整合来自多个视图的信念，基于输入数据动态加权每个视图的重要性，以学习良好校准的预测分布。
3.在多个领域上评估CAMul:我们使用CAMul框架来设计来自不同领域的多视图时间序列预测任务的模型，使用不同的数据源和模式(静态特征、序列、网络)。我们将CAMul与最先进的特定领域以及一般预测基线进行了比较，结果表明CAMul模型在准确性和校准方面明显优于所有基线25%以上。我们还以经验和使用案例研究的方式表明，我们的建模和集成来自单个数据源的不确定性的方法确实导致了这些改进。

A.多视图概率潜在编码器：学习每个视图数据点的概率嵌入
B.查看相关图：对输入数据和获取全局信息的参考点之间的随机关系进行编码
C.上下文特定的动态视图选择：使用交叉注意中的上下文敏感的重要性权重集成视图感知嵌入。解码器使用聚合嵌入来学习输出分布。

3、A hybrid method of exponential smoothing and recurrent neural networks for time series forecasting

指数平滑和回归神经网络的混合时间序列预测方法

本文介绍了M4预测比赛的优胜方案。提交的文件使用了一个动态计算图神经网络系统，使标准指数平滑模型与先进的长短期记忆网络混合到一个共同的框架中。结果是一种混合层次预测方法。

预处理参数实际上来自于指数平滑族中一些模型的更新公式。因此，本文提出了一种混合预测方法，在一个共同的框架中混合了指数平滑(ES)模型和先进的长短时记忆(LSTM)神经网络。
利用局部和全局分量来提取和组合序列或数据集级别的信息，从而提高预测精度。
这种混合预测方法有三个主要元素:(i)去季节性和自适应规范化，(ii)生成预测 (iii)集成。

ES数据预处理+LSTM训练

4、International Journal of Forecasting

时间序列预测的递归神经网络:现状与未来发展方向
https://github.com/HansikaPH/time-series-forecasting
如果数据集中的系列具有相同的季节模式，rnn能够直接建模季节性;否则，我们建议采取去easonalisation步骤。与ETS和ARIMA的比较表明，(半)自动RNN模型不是银弹，但它们在许多情况下仍然是有竞争力的替代方案

过去神经网络表现不佳的原因有很多，一个是单个时间序列本身通常太短，无法用复杂的方法建模。二是时间序列的特征随着时间的变化而变化，即使是很长的时间序列也可能无法包含足够的相关数据来拟合一个复杂的模型。因此，要用复杂的方法对序列进行建模，它们必须有足够的长度，并且它们是从一个相对稳定的系统中生成的。此外，神经网络也因其黑盒性质而受到进一步批评。

5、DeepAR: Probabilistic forecasting with autoregressive recurrent networks

DeepAR:用自回归递归网络进行概率预测
https://github.com/zhykoties/TimeSeries

本文提出了DeepAR，一种产生精确概率预测的方法，基于在大量相关时间序列上训练自回归神经网络模型。我们展示了深度学习技术在预测中的应用如何克服许多被广泛使用的经典方法所面临的挑战。通过对几个真实世界预测数据集的广泛实证评估，我们表明，我们的方法比其他最先进的方法产生更准确的预测，同时需要最少的手工工作。©2019由爱思唯尔B.V.代表国际预测机构发布。

本文的主要贡献是两个方面:(1)我们提出了一种用于概率预测的递归神经网络(RNN)结构，该结构包含了计数数据的负二项似然，并对时间序列的量级变化较大的情况进行了特殊处理;(2)我们在几个真实世界的数据集上以经验证明，该模型在一系列输入特征上产生了准确的概率预测，从而表明基于现代深度学习的方法可以有效地解决概率预测问题。这进一步证明了神经网络是一种有用的、通用的预测技术，较低深度神经网络的进一步成功应用)。除了提供比以往方法更好的预测精度外，我们的方法与经典方法相比还有许多关键优势:
(i)随着模型学习季节性行为和跨时间序列对给定协变量的依赖性，在提供协变量方面需要最少的人工干预，以便捕捉复杂的群体依赖性行为。
(ii) DeepAR以蒙特卡罗样本的形式进行概率预测，可用于计算预测视界内所有子范围的一致分位数估计。
(iii)通过学习类似的项目，我们的方法能够为很少或没有历史可用的项目提供预测，这是传统的单项目预测方法失败的情况。
(vi)我们的方法不假设高斯噪声，但可以包含广泛的似然函数，允许用户选择一个适合数据的统计特性。

5个数据集，零部件、电力、交通

我们已经表明，基于现代深度学习技术的预测方法可以大大提高预测精度，相对于各种数据集上的最先进的预测方法。我们提出DeepAR模型有效地学习相关时间序列的全局模型,可以处理广泛不同的尺度上通过剪裁和velocity的采样,生成校准概率预测精度高,能够学习复杂的模式,如季节性和不确定性增长随着时间的推移,从数据。有趣的是，该方法适用于很少或没有超参数调优的各种数据集，并且适用于只包含几百个时间序列的中型数据集。

6、Evaluating the performances of several artificial intelligence methods in forecasting daily streamflow time series for sustainable water resources management

准确的径流预测对于保证水资源的可持续利用和管理具有重要的意义。人工智能方法可以为无法明确获得潜在物理关系的径流预测提供新的可能性。然而，迄今为止，评价各种人工智能方法在可持续水资源管理的日流量时间序列预测中的性能的报告很少。为了填补这一空白，本文研究了五种人工智能方法在每日径流序列预测中的潜力，包括人工神经网络(ANN)、基于自适应神经的模糊推理系统(ANFIS)、极限学习机(ELM)、高斯过程回归(GPR)和支持向量机(SVM)。选择4个定量统计指标作为评价基准。对国内两个大型水电站水库的预测结果表明，5种人工智能方法均能取得满意的预测结果，其中支持向量机、GPR和ELM方法在训练和测试阶段的4个指标均优于人工神经网络和ANFIS方法。因此，根据所研究的储层的实际特点，精心选择合适的预测模型具有重要的意义。

研究建立了5种人工智能模型，包括ANN模型、ANFIS工具、SVM方法、ELM技术和GPR方法，用于水电站水库日径流时间序列预测。选取中国境内的洪家渡水库和新丰江水库作为研究地点。基于4个统计性能评价指标，对训练和测试阶段具有不同滞后输入变量的5个人工智能模型的观测径流和结果进行了评价。结果表明，5种人工智能方法在模拟日流量时间序列时均能取得满意的预测效果。比较5个模型的结果发现，3个模型(SVM、GPR和ELM)在4个评价指标上的性能最佳。因此，本文的分析表明，在实际应用中，需要认真确定输入变量和预测模型，并深化研究，开发更有效的日流量时间序列预测模型。

7、Well production forecasting based on ARIMA-LSTM model considering manual operations

考虑人工操作的ARIMA-LSTM模型油井产量预测

本文建立了一种新的混合模型，该模型考虑了线性和非线性的优点，并考虑了人工操作的影响。该模型集成了自回归综合移动平均线(ARIMA)模型和长短期记忆(LSTM)模型。ARIMA模型过滤生产时间序列数据中的线性趋势，并将剩余值传递给LSTM模型。考虑人工开闭操作引起的非线性波动，剩余时间序列和每日生产时间序列由LSTM输入数据组成。为了比较ARIMA-LSTM和ARIMA-LSTM- dp(每日生产时间序列)模型与ARIMA、LSTM和LSTM- dp模型的性能，分析了3口实际油井的生产时间序列。采用均方根误差(RMSE)、平均绝对误差(MAE)、平均绝对百分比误差(MAPE)和相似度(Sim) 4个指标计算预测精度。试验结果表明，单ARIMA模型在稳产递减曲线上表现良好。相反，对于波动的非线性数据，LSTM模型比ARIMA模型有明显的优势。

耦合模型(ARIMA-LSTM、ARIMA-LSTM- dp)的效果优于单独的ARIMA、LSTM或LSTM- dp模型，其中ARIMA-LSTM- dp模型在油井生产系列受频繁人工操作影响时效果更好。

近年来,随着人工智能和大数据采集在油田的发展，研究人员越来越关注机器学习(ML)方法来解决生产预测问题，如人工神经网络(ANN)、递归神经网络(RNN)、长短时记忆(LSTM)、卷积神经网络(CNN)、门控循环单位(GRU)等等。LSTM算法由于能充分捕捉非线性趋势和相关性而受到广泛关注。结果[25,26,28]表明，同时考虑多个因素的影响，LSTM比传统的下降曲线分析方法性能更好。但单一的人工智能模型存在收敛性低、异常值影响大、时间损失大、局部极小等缺点。为了克服这些问题，提出了大量的混合模型，利用每个组件模型来提高预测性能。

8、100,000 time series and 61 forecasting methods

M4竞赛:10万个时间序列和61种预测方法
M4竞赛是在前三届M竞赛的基础上进行的，其目的是从经验证据中学习如何提高预测精度，以及如何利用这种学习来推进预测的理论和实践。M4的目的是通过:(a)显著增加系列的数量，(b)扩大预测方法的数量，和©包括评价过程中的预测区间和点预测来复制和扩展之前的三个比赛。本文详细介绍了M4的各个方面，包括其组织和运行，其结果的表示，总体上和分类上表现最好的方法，其主要发现及其含义，以及各种方法的计算需求。最后，总结了其主要结论，并指出其系列将成为评价新方法和改进预测实践的试验场，同时也提出了该领域的一些前进方向。

纯统计方法和ML方法性能较差;
混合方法的卓越成就;
统计学和/或ML方法组合的准确性提高;
有效利用处理能力提高PFs的精度和pi的精度;
有益地利用序列集合的信息来提高单个序列的准确性；
前两种方法pi的精度令人惊叹，而剩下的方法的性能却很糟糕。

9、A Combined Forecasting System based on Statistical Method, Artificial Neural Networks, and Deep Learning Methods for Short-Term Wind Speed Forecasting

随着风能在电力系统中所占份额的增加，风速预测变得越来越重要。许多预测方法被用来预测风速。然而，考虑到风速时间序列的差异，没有一个被证明在所有情况下都是准确的通用方法。本文提出了一种组合预测系统，该系统由四部分组成:最优子模型选择、基于改进多目标优化算法的点预测、基于分布拟合的区间预测和预测系统评价。所开发的组合预报系统综合了各子模型的优点，具有准确的点区间预报性能。实验结果表明，该组合预报系统能够提供有效的风速点和区间预报。该系统对点预测的绝对百分比误差值在Site 1为2.9220%、3.1696%和4.8358%，在Site 2为1步、2步和3步预测的绝对百分比误差值分别为2.2719%、2.5882%和3.4799%。因此，该系统被认为比其他基准模型更适合于电力系统的调度和管理。

风速预测方法的局限性归纳如下。
（1）数值模拟方法适用于长期风速预测，而不是短期风速预测。预测能力强烈地依赖于初始参数。此外，这些方法在资源和运行时间方面都很昂贵。
（2）基于线性假设，采用统计方法进行风速预测，这与风速时间序列数据的不规则、非线性特征不一致。因此，预测结果并不总是令人满意的。
（3）采用空间相关方法进行风速预测需要大量的信息，在多空间相关站点无法获得良好的风速预测性能。
（4）人工智能方法能有效描述风速时间序列的非线性特征;然而，由于容易陷入局部最优、过拟合和收敛速度低等固有特性，它们并不总是成功的。

贡献
(1)研制了PF和IP相结合的PCFS。以往的研究大多集中在风速PF或IP上，不能有效、可靠地预测风速。PF在电力系统的调度和管理中起着重要的作用，而IP在安排旋转备用容量方面起着重要的作用，可以显著提高电力系统的稳定性和供电的安全性。
(2)在OSS模块中，提出了CEI来确定最优子模型。结合子模型的预测指标，CEI可以从多个角度自适应地确定最优子模型，从而获得较好的预测效果。
(3)在PF模块中，提出了一种改进的CM权重确定方法。为了克服传统多目标优化算法的缺点，采用一种改进的多目标优化算法来确定所选子模型的权值，提高全局搜索能力和收敛速度。
(4)在IP模块中，使用不同的df来度量PF值的特征。采用一种改进的智能优化算法分析风速预报值的特点。采用了七种分布和两种估计方法来提高IP的精度。(5) pcf关注风速预测交货时间为10分钟,20分钟,30分钟基于真实数据的长度21 d。指的是真正的风速数据和比较预测结果,pcf能提供一个参考智能电网的调度和管理基于风速预测结果。

在本研究中，提出了集最优子模型选择、点预测和区间预测于一体的PCFS。此外，利用山东半岛的两个数据集进行了三个实验和三个分析。
通过仿真分析，我们发现PCFS方法在PF和IP方面优于各种参考方法。为了验证参数变化对PCFS预测性能的影响，我们进行了灵敏度分析，如讨论部分所示，进一步验证了我们提出的组合系统的稳定性。此外，还介绍了PF和IP在电力系统中的实际应用，以帮助决策者启动适当数量的风力发电机，并安排旋转备用容量。综上所述，PCFS成功地提高了短期风速预测精度和稳定性，可为电网规划提供帮助。

只考虑了PCFS在电力系统中的应用。因此，考虑更多的因素和更多的应用领域是未来研究的两个主要方向。金融时间序列建模、股指预测、政策有效性评估可能是经济管理领域的关键领域。

Ping Jiang, Zhenkun Liu, Xinsong Niu, Lifang Zhang

10、To estimate the association between the release of the Netflix series 13 Reasons Why and suicide rates in the US

使用分段准泊松回归和Holt-Winters预测模型,我们评估的自杀率每月个体年龄在10到64岁分为3类(- 17、18 - 30 - 64年)1月1日,2013年和2017年12月31日之前和之后的13个理由3月31日,2017年。我们还评估了节目播出对控制结果的影响，他杀死亡。

在考虑了季节性影响和月度自杀率潜在上升趋势之后;Holt-Winters预测显示，相对于相应的预测率，观察到的自杀率在发布后的一个月以及随后的两个月有所上升。与预期相反，这些联想仅限于男孩。在18- 29岁和30- 64岁的人群中，我们发现在节目播出后，总体上和性别上的自杀水平和趋势都没有显著变化。该节目的发布对任何年龄组的他杀死亡的控制分析都没有影响。

《13个原因》的发布与美国10至17岁青少年每月自杀率的显著上升有关。对儿童和青少年接触该系列产品要谨慎。