周报总结记录

摘要

这段时间在忙比赛以外的时间主要做了一下工作：1、加强代码能力。2、学习写作结构和阅读论文。3、查找老师上次跟我提的方向的相关论文。在论文写作上，我逐渐清楚了论文的结构和写作思路，并且最近读了几篇论文了解了别人的论文构成；在我的研究方向上，我发现我找不到相关的论文，可能是我的检索方式有问题，准备请教师兄。

During this period, I have been busy with unexpected competitions, but I managed to work on the following tasks:
Strengthening my coding skills.
Learning about writing structures and reading academic papers.
Searching for relevant papers related to the research direction suggested by my professor during our last discussion.
Regarding paper writing, I have gradually gained a clearer understanding of the structure and writing approach for academic papers. Recently, I have also read several papers to understand how others have structured their work. However, when it comes to my specific research direction, I have been unable to find relevant papers. It is possible that there might be issues with my search methods, so I plan to seek advice from senior students.

论文阅读

题目：Connecting the Dots: Multivariate Time Series Forecasting with Graph Neural Networks（MTGNN）

论文地址：https://arxiv.org/abs/2005.11650

作者：Zonghan Wu, Shirui Pan, Guodong Long, Jing Jiang, Xiaojun Chang, Chengqi Zhang

摘要

本文出发点是为了更好地建模多变量时间序列数据中成对变量之间的潜在空间依赖。作者提出了一种通用的图神经网络框架MTGNN，通过图学习模块融合外部知识和变量之间的单向关系，再使用mix-hop传播层和膨胀inception捕获空间和时序依赖。此外，为更好地训练模型，结合课程学习提出了一种学习算法。在四个常规多变量时序数据集以及两个图数据集上的实验表明，对比现有取得SOTA的模型MTGNN具有较强的竞争力，在多个数据集上取得最优表现。

背景研究

多变量时序预测在经济、金融、生物信息和交通等领域有广泛应用。相较于单变量时序预测，需要建模的问题更复杂，因为每个变量不仅与其历史值有关，还要考虑变量之间的依赖关系。

然而，现有的多变量时序预测方法并没有有效地探索变量之间的潜在空间依赖关系。统计方法如VAR和GP假设变量之间存在线性依赖关系，随着变量的增加，模型复杂度二次方增长，容易导致过拟合。深度学习方法如LSTNet和TPA-LSTM，虽然能够捕获非线性关系，但是无法明确地建模成对变量之间的依赖关系。

图是一种数据结构，可以描述节点之间的关系。目前，图神经网络由于排列不变性、局部连接以及组合性的特点，在处理图数据上取得较大的成功。多变量时序预测从图视角来看，变量可以当作节点，它们通过隐层依赖关系相互连接。所以，图神经网络可以建模多变量时序预测，这也是这篇论文的主要出发点。在本文中，我们提出了专门针对多元时间序列数据设计的通用图神经网络框架。我们的方法通过图学习模块自动提取变量之间的单向关系，可以轻松地将诸如变量属性之类的外部知识整合到其中。进一步提出了一种新颖的混合跳跃传播层和一个扩张的起始层，以捕获时间序列内的空间和时间依赖性。在端到端框架中共同学习图学习，图卷积和时间卷积模块。实验结果表明，我们提出的模型在4个基准数据集中的3个方面优于最新的基线方法，并且在提供额外的结构信息的两个交通数据集上与其他方法相比具有相同的性能。

遇到的问题

时空图神经网络是最适合多变量时序预测任务的图神经网络类型，因为多变量时序预测问题需要考虑时间维和空间维的信息表达。通常时空图神经网络以多变量时序数据和外部图结构作为输入，预测时序数据的未来值或标签。相较于未利用结构信息的方法，能够取得较大提升。但是，该方法仍然存在两个方面的挑战：

1. 未知的图结构
   使用图神经网络建模时序预测任务时，大多依赖于预定义的图结构。但是，大多数情况下，多变量时序预测是没有明确的图结构，需要从数据中去学习变量之间的关系（图）。

2. 图结构与图神经网络共同学习
   现有方法大多专注于如何设计合适的图神经网络结构，却忽略了有时图结构（通常为邻接矩阵）有可能不是最优的，也需要在训练中优化。因此，对于时序问题，如何在一个end2end的框架下同时学习图结构和图神经网络是一个问题。

文章的贡献

• 这是第一次从基于图的角度使用图神经网络对多元时间序列数据进行的研究

• 提出了一种新颖的图学习模块，以学习变量之间的隐藏空间依赖性。 该方法为GNN模型处理数据而无需显式的图结构打开了一个新的大门。

• 提出了一个用于建模多元时间序列数据和学习图结构的联合框架。 该框架比任何现有的时空图神经网络都通用，因为它可以处理带有或不带有预定义图结构的多元时间序列。

MTGNN

MTGNN各部分之间的联系如下图所示，主要有三个模块组成图学习模块、图卷积模块、时序卷积模块。本文的解决方案如下：

针对挑战1，作者提出了一个图学习层，能够自适应地从数据中抽取稀疏图邻接矩阵。此外，基于学习得到的图邻接矩阵，作者使用图卷积模块进行变量之间空间依赖学习。同时，作者对图卷积模块进行了改进，学习变量之间的单向依赖以及缓解图神经网络中的过度平滑问题。

针对挑战2，图学习层和图卷积模块都是参数化的，两者通过后向传播（梯度下降）方法共同优化。

除上述改进之外，作者还在时序卷积以及训练优化方面进行了研究。在时序卷积方面，作者提出了膨胀inception层，以便处理更长序列时序数据；针对大规模图学习中的非凸优化问题以及内存占用问题，作者提出了基于课程学习寻找局部最优以及切分多变量时序数据为多个子片段的学习算法。

MTGNN框架如下：

主要包括了图学习层、m个图卷积模块、m个时序卷积模块、输出模块。除主要模块外，还包括了残差连接和跳跃连接。

图学习层

图学习层是为了学习一个邻接矩阵，从时序数据中自适应地捕获变量之间的空间关系。作者认为时序书中变量之间的关系是单向的，一个节点状态的变化会引起其他节点的变化，如交通流问题。所以需要注意的是，所提图学习层学习的邻接矩阵具有非对称的属性。通过以下计算，可以实现该方法。

图卷积模块

图卷积模块可以整合节点以及邻居节点信息。论文所提的图卷积包含了两个mix-hop传播层，结构信息如下图所示。信息传播和信息选择在图中分别对应到横向和纵向。mix-hop的思想首先是[3][4]提出，其中[3]采用的方式为拼接不同的hop信息，[4]使用注意力机制整合不同的hop信息。两个mix-hop分别处理单个节点的inflow信息和outflow信息，最终将两个信息相加所谓最终的模块输出信息。

时序卷积模块

时序卷积模块是使用多个标准的一维膨胀卷积核抽取高维的时序特征。如前文介绍，时序卷积模块主要包括了两部分膨胀（空洞）卷积和inception层，这两种卷积结构在CV中已经经过有效性验证。其结构如下图所示

跳跃连接层和输出层

跳跃连接层和输出层的作用较为直观，最终送入输出层的信息为多个模块的拼接，跳跃连接层起到一个规范化信息的作用，使输入到输出层的序列长度相同。输出层包括两个1x1的卷积层，输出指定维度值，如果单步预测维度为1，如果多步Q预测，维度为Q。

论文总结

作者介绍了一种用于多元时间序列预测的新框架， 并且第一个通过基于图的深度学习方法解决多元时间序列预测问题。 作者提出了一种有效的方法来利用多个时间序列之间的固有依赖关系， 该方法在各种多元时间序列预测任务中展示了出色的性能，并为使用GNN处理各种非结构化数据打开了新的大门。

写作学习

由于快要进入写论文阶段了，近期看了一些视频和别人的笔记总结论文写作的经验。

学术期刊论文的基本结构总结为IMRAD，即

Introduction（引言）：研究问题是什么？

Methods（方法）：怎么研究的？

Results（结果）：发现了什么？

And

Discussion（讨论）：研究发现有何意义？

我们所书写的一般学术期刊论文还要包括摘要、文献综述等。总体来说硕士论文写作分为如图结构：

Abstract摘要部分

摘要是对整个研究的概述，是需要等完成论文之后再写的，但是要放在论文的最前面。因此我们也根据论文的呈现结构。既然摘要是整个研究的概述，那自然是要涵盖研究的各个方面，需要介绍研究目的、研究背景、研究方法、研究发现以及研究意义，一般我们建议重点说明关键性研究发现。摘要的写作思路如下：

• 1.引言：a 交代研究背景、b 明确研究动机、c 说明研究重点、d 阐释研究意义

• 2.目的：a 验证假设、b 发展假设

• 3.方法：a 交代整体方法、b 明确关键设计、c 阐明数据来源、d 交代分析过程

• 4. 结果：a 展示关键发现、b 展示次要发现
• 5. 结论：a 理论意义、b 应用意义

Introduction引言部分

引言才是研究实际进行过程中的开端。基于Swales & Freak（1994：175）以及Bunton（2002：67）的研究成果，Brian Paltridge & Sue Starfield（2007：83）将引言的书写步骤总结为三个基本分步。

1. 设定研究边界：

a 设定研究的相关领域

b 提供领域的背景信息

c 介绍领域的前期研究

d 明确相关的概念术语

2. 建立研究点：

a 发现先前研究的不足

b 提出先前研究的问题

c 明确当前研究的需求

d 进行先前研究的拓展

3. 掌控研究点：

a 列出研究目标

b 细化研究问题

c 列出理论视角

d 描述研究设计

e 明确研究范围

f 阐述研究价值

g 列出论文框架

Literature Review 文献综述部分

文献综述的主要目标是深入展示你的研究问题，即针对该问题都做了哪些研究，不同的学者都研究了什么，有什么重大研究发现，存在什么争议等。其主要作用包括回顾先前研究、指明研究方向、说明研究缺陷。

1. 建立研究相关的多层面知识边界：

a 阐述研究主题相关的定义、理论等

b 说明研究主题的重要性及研究意义

c 展示先前研究证据研究发现方法等

2. 发现研究缺口

a 对1a进行批判性解读

b 对1c进行批判性思考

c 明确研究缺口

d 发展先前不充分的研究

e 采用新的研究视角理论框架

3. 阐明如何填补

a 该研究的研究目标

b 该研究的理论框架

c 该研究的研究设计

d 该研究的概念定义

Methodology 研究方法部分

1. 展示研究步骤

a 概述研究方法

b 衡量研究变量

c 论证研究信效度

2. 描述数据收集步骤

a 描述被试（语料来源）

b 展示收集工具

c 说明收集步骤

d 检验收集步骤

3. 阐明数据分析步骤

a 列出分析步骤

b 检验分析步骤

c 预览分析结果

Discussions 讨论

该部分是展示结果与进行分析的合体，一般论文中给的标题是研究发现。该部分需要展示出你的研究结果，然后针对研究结果进行进一步分析，解读该结果时需要将其同你的文献综述、研究问题联系起来。这部分不是单纯地呈现数据结果，而是要结合理论对数据结果进行分析解读。

1. 提供研究元信息

a 再述研究目标、问题、假设

b 再述关键性前期研究

c 再述研究方法设计

2. 展示研究结果

a 展示关键研究结果

b 详述关键研究结果

3. 评估研究结果

a 阐述结果成因

b 解读结果预期

c 对比先前研究

d 展示结果示例

e 总结假设推论

（六） Conclusion 结语

类似摘要，照英引言

总结

最近这段时间，我主要加强了自己的代码能力，学习了MTGNN这篇论文，然后在自己的专题上，对老师上次跟我提的学会师兄论文里面环境方面的原理，目前已经搞懂了，然后后面的时间我想找找相关智能DO控制的文章看看。