交通流量预测数据集解读

智慧交通系统

即Intelligent TransportationSystem (ITS)

   属于时空预测方向，在人工智能相关会议上有不少工作值得借鉴。中科院计算所9楼网数的徐冰冰在github上有建微信群讨论，下周约在计算所给课题组做报告。群中Davidham（宋超，北交）也撰写了不少论文笔记，最近还发现了CSDN上张博士的 “当交通遇上机器学习”，也很不错。

 

原始数据集总结

一、TaxiBJ，北京出租车数据集，郑宇，"BJ15_M32x32_T30_InOut.h5"，原始数据shape=(5596,2,32,32)，"2"代表出In/Out两种流量。

备注：数据应用在ST-ResNet（AAAI17，郑宇的经典，该领域的里程碑）中。

二、METR-LA，洛杉矶高速路数据集，"metr-la.h5"，原始数据shape=(12,6850,207)——间隔5分钟，预测未来1小时(12,207,2)->(12,207,1)

备注：数据应用在DCRNN文章中。

三、NYC-Taxi，纽约出租车数据集，"volume.train.npz"，原始数据shape=(1920,10,20,2)，"10,20"代表网格化地图形状，同郑宇的"32,32"

备注：数据应用在STDN文章中。

四、PeMS04/08，加利福尼亚高速数据，"data.npz"，原始数据shape=(10195,307,3)——间隔5分钟预测1小时(307,3,36)->(307,3,12)

备注：数据应用在ASTGCN文章中，"3"代表交通流量3种特征(flow，speed，occupancy)。

五、MetroHZ，杭州地铁数据集，"raw_data.npy"，原始数据shape=(2448,81,2)——间隔10分钟预测下一个时间片

备注：数据应用在我的ADST文章（T-ITS）中

六、BusJN，济南公交数据集，原始数据shape=(26496,11,81)

备注：数据应用在师姐的文章XXX（Ubicomp->T-ITS）中

七、其他数据集

1）2009.5月——北京出租车数据集(一个月)；

备注：数据应用在我的开题 “载客热点区域挖掘” 中（带上下车载客标识，数据略老）。

2）2014.8月——成都出租车数据集(一个月)；

备注：数据应用在牛老师的L-CNN文章（TVT 2018）中。

3）kaggle比赛纽约数据集(预测行程时间)；

备注：数据应用在晓云师姐的大论文中。

 

学术论文梳理

TKDE期刊  (IEEE Transactions on Knowledge and Data Engineering)

 

NIPS会议

    2017，PredRNN 清华，利用自定义的 “时空LSTM” 单元，基于历史数据帧预测未来图片，数据集采用Moving Mnist（Mnist视频流也是高端...），也找到了作者Yunbo Wang的git分享。

CVPR会议

    2017，Structural-RNN，Jain，将时空图转换成RNN混合体的一种通用的可扩展的方法。作者是用来做行为识别的。感觉是非常视觉的paper，膜拜一下就好...

AAAI会议

    2017，ST-Net 郑宇；目前已经基本复现了微软亚研院郑宇在人群流量预测工作中使用的ST-ResNet残差网络。

    2018，DMVST 宾夕法尼亚（姚骅修，滴滴实习生等）；综合考虑时间、空间、语义三方面信息，预测出租车需求（笔记），其中数据来自2017年滴滴出行在广州的近两个月数据。作者提供了开源代码，这个团队后续在AAAI2019又发表了一篇"Revisting Spatial-Temporal similar"，提出STDN网络（姚骅修，数据来自NYC纽约），工作也是相当多的。

    2019，ASTGCN 北交（郭晟楠，林友芳，宋超等）：学习PPT（已经联系作者找到原文），采用加利福尼亚的两段高速数据，目前为预测1小时后的交通流量，使用mxnet搭建神经网络（添加了注意力机制的STGCN，源码）。使用三个组件对时间序列上三个不同长短的周期模式进行建模。2019.2.15在北交网站发表了动态。

    2019，STMGCN（李亚光，滴滴）：空间上引入Multi-Graph多图，针对地图区域间非欧关系，本文提出更加详细的三种关系图（距离临近、功能相似、道路相通），对多图进行图卷积并聚合。时间上Contextual Gated RNN，实际为SENet思想。针对训练样本序列，利用SENet的Squeeze和Excitation操作，对每个时刻图进行全局池化，和图自身卷积池化的结果相加，再利用Excitation达到不同通道权重化的效果。

ICLR会议

    2018，DCRNN 南加大（李亚光，虞琦等人）：作者提供了github链接，本文借鉴ICLR2017的一篇reject文章（RNN对图结构数据的推广）的思想，将该模型用于交通预测。本文在会议官网上收到了很好的Review评价。首先构建图，这个图可以加权也可以不加权，可以有向也可以无向，本文使用的是加权双向有向图。交通预测挑战在于：空间路网复杂，时间依赖非线性。本文干的事概括来讲是：给定历史车速与路网数据，预测未来的车速。使用基于图bidirectional random walks捕获空间依赖，使用基于序列的带预定采样的编解码机制捕获时间依赖。上来创新点扣了个大帽子：“交通空间结构非欧，有向”。本文在洛杉矶构建了带权有向图，图的顶点是sensors（207个），边是权重，通过路网上 sensor 之间的距离得到。时间间隔5分钟，预测未来1小时的速度，所以输入数据中一个样本是（12,207,2），输出为（12,207,1）。

    2018，GAT 剑桥大学（还有Bengio大神），图注意力，徐博在计算所提到过。

IJCAI会议

    2018 STGCN，提出了时空图卷积的网络架构，有一个中文博客辅助说明，作者通过构建时空卷积块预测交通图中不同路网节点的速度v，且利用的是加州和北京两个数据集进行验证。使用局部图卷积（基于拉普拉斯图的一阶近似），无向图。

    2018 GeoMan，还是郑宇，张均波那些人的，预测传感器值的回归问题，同样有中文博客的说明。使用水质数据和空气质量两个数据集进行验证。

Sensors

    2017 Deep CNN 北航+北交，用CNN模拟空间相关性，但空间结构在欧式空间 (例如：2D图像)，理解为普通网格地图策略。

IJCNN会议

    2018 Deep Transport 百度，通过明确收集各道路上下游的邻域道路, 并分别对这些邻域进行传统卷积, 对空间依赖关系进行建模。

 

附录：

交通领域期刊影响因子