深度学习如何跑视差图_图神经网络与深度学习在智能交通中的应用：综述Survey...

在科学研究中，从方法论上来讲，都应“先见森林，再见树木”。当前，人工智能学术研究方兴未艾，技术迅猛发展，可谓万木争荣，日新月异。对于AI从业者来说，在广袤的知识森林中，系统梳理脉络，才能更好地把握趋势。为此，我们精选国内外优秀的综述文章，开辟“综述专栏”，敬请关注。

作者：thisone

地址：https://www.zhihu.com/people/yeziand01

论文地址：https://arxiv.org/abs/2005.11691

关键词：图神经网络(GNNs)，图卷积神经网络(GCN)，深度学习，智能交通；

01 Abstract and Introduction

深度学习在计算机视觉和自然语言处理上的成功激发了学者将深度学习应用于交通领域的研究热情。传统上，很多工作将交通网络建模为网格或者分段，但很多交通网络本质上是图的结构，非图结构建模会导致某些有用的空间信息的丢失。最近，将深度学习扩展到图结构上的工作越来越多，这些技术被统称为图神经网络 graph neural networks (GNNs)。在这背景下，交通领域中，构建基于图视角的深度学习框架也越来越多。本论文旨在对这些框架进行总结，提供一个全面、深入、细致、实用性强的综述。

本论文的贡献如下：

(1)系统且扼要地描述了现有的traffic problems和相应的research directions, challenges。

(2)总结了针对时空预测类交通问题的一般性problem formulation，同时给出了从四种交通数据集(sensors datasets, GPS datasets, rail-hailing datasets, transaction datasets) 中构建图的具体指导。还进一步对图的关键元素-adjacency matrix的定义进行讨论。

(3)将已有的图深度学习框架分解，总结其中常见的深度学习技术，包括 GNNs (SGCN/GGCN), RNNs (RNN/GRU/LSTM), TCN, Seq2Seq, GAN, gated/attention/residual mechanism。分析这些技术的理论，优缺点，在交通场景中的具体变种和应用。

(4)具体阐述了交通场景中的共同挑战(时间依赖，空间依赖，时空联动，外部因素)，并针对每种挑战，总结了多种基于深度学习的解决方案。

(5)收集了一些公开的数据集，还有公开的代码，提出了未来的研究方向。

02 Related Work

在这部分里，作者介绍了10篇交通综述论文，其中大部分是深度学习综述论文；另外，还介绍了5篇图神经网络的综述论文。作者还指出，这些综述基本没有提到图神经网络在智能交通中的应用，因而作者的工作实属首次。

03 Problems, Research directions, Challenges

作者扼要介绍了交通领域中的五种交通问题，分别是交通堵塞，出行需求，交通安全，交通监管，自动驾驶，并介绍了每种交通问题下的研究方向。同时，作者也扼要阐述了每种研究方向的重要性和有关工作。

另外，作者提取了各种交通问题面临的共同挑战，并概要指出了其对应的深度学习技术。

04 Problems formulation and Graph construction

作者定义了论文中用到的数学符号，非常细致和系统，将变量分为时间变量，空间变量，时空变量，可以作为相关工作的符号定义的参考。

基于大部分调查的交通问题都属于时空问题，作者总结出一个一般性的问题建模框架，如下所示：

另外，作者针对四种数据集 (sensors datasets, GPS datasets, rail-hailing datasets, transaction datasets)，细致地介绍如何针对这些数据集构建图，如何定义点，边，点的特征等。

最精彩的部分是作者总结了图的邻接矩阵的定义。在不同的交通应用中，针对不同的交通模式，可以定义各种邻接矩阵。假设交通网络拓扑结构是固定的，可设计固定的邻接矩阵；假设交通网络是动态的，可设计动态的邻接矩阵。另外假设网络结构是多样的，可设计多个邻接矩阵。

05 Deep Learning techniques perspective

(1)概要

作者将近三年(2018-2020)的基于图的深度学习框架进行分解，总结了五种经常出现的技术，分别是图神经网络GNNs，循环神经网络RNNs，时间卷积网络TCN，序列到序列模型seq2seq，生成对抗网络GAN，还有门机制/注意力机制/残差机制等。

作者深入地分析这些技术的核心公式，优缺点，还介绍了每种技术在交通中是如何应用的，列举了它们的变种公式，所解决的问题。这部分的特色是深入和细致，配套公式多但清晰；不是泛泛而谈，停留在文字描述层面。相信读者能通过阅读这部分，更深刻地了解这些深度学习技术的原理，以及如何在具体任务中对它们进行重新设计。

(2)GNNs

针对最热点和最核心的图神经网络，作者主要介绍了它在交通领域最常见的两个分支，分别是SGCN, DGCN；作者对SGCN的关键工作进行梳理 ，分别是(1)Bruna/Shuman 2013 (2) Defferrard 2016 (3) Kipf 2016；

图(1)：GNNs的一般框架

图(2)：SGCN的公式

图(3)：DGCN的公式

图(4)各种GNNs的变种

(3) RNNs

作者比较了三种常见的时间序列模型(RNN,LSTM,GRU)的优缺点，阐述了它们在交通中的应用。

图(1)：RNN的框架

图(2)：RNNs的变种

(4) TCN

TCN是一个新兴的处理时间序列的网络，作者对它的原理以及它在交通中的应用作出详细的介绍。

图(1)TCN的结构

图(2)TCN的公式

图(3)TCN的应用

(5) Seq2Seq

Seq2Seq能处理多步输出，作者介绍了Seq2Seq的无注意力和有注意力版本，并总结了交通工作中对encoder和decoder的设计。

图(1)Seq2Seq

(6) GAN

作者介绍了GAN在交通中的应用

06 Challenges and solutions

作者细致地介绍了交通领域所面临的一些共同挑战，以及针对这些挑战所提供的解决方案。作者主要总结了时间依赖性，空间依赖性，时空依赖性，外部因素四种挑战。对于时间依赖性，作者细分为(1)Multi-timescale，(2)Different Weights；对空间依赖性，作者细分为 (1)Spatial Locality，(2) Multiple Relationships，(3) Global Connectivity 三种挑战。

07 Open datasets and codes

作者收集了一些公开的交通数据集和代码，以促进智能交通的研究。

08 Directions

作者总结了三个未来的研究方向，包括技术方面的，应用方面的，挑战方面的。

09 Conclusion

本论文在交通综述领域中，是一篇深入且细致的论文，实用性强。有个不足之处在于，只总结了基于图视角的有关工作，但这也是本论文的特色之处。

本文目的在于学术交流，并不代表本公众号赞同其观点或对其内容真实性负责，版权归原作者所有，如有侵权请告知删除。