STGCN、ASTGCN、STSGCN、STFGNN模型的对比实验操作步骤

已于 2022-06-04 16:16:50 修改
阅读量5.9k 收藏 124
点赞数 23
分类专栏： 深度学习 文章标签： tensorflow python 深度学习
于 2022-06-04 16:05:59 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/yukiaustin/article/details/125122206
版权

前言

这是我的本科毕业设计，没有用这些大佬们发布的数据集，第一是因为老师会说没有工作量，第二是他们的数据集都是预处理好了，比如PeMSD7如果要更其它的模型比较就没办法像ASTGCN、STSGCN、STFGNN模型要求输入的空间序列一样，具体的问题我会等我拿到了毕业证再阐述。

实验过程

环境配置

都采用conda来配置虚拟环境。

STGCN的环境配置

代码库地址：https://github.com/VeritasYin/STGCN_IJCAI-18
在这里插入图片描述
更新最新的地址：

conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/msys2/
conda config --add channels http://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/pytorch/
conda config --add channels http://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/conda-forge/
conda config --add channels http://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/bioconda/
conda config --add channels https://mirror.tuna.tsinghua.edu.cn/anaconda/pkgs/pro
conda config --add channels https://mirror.tuna.tsinghua.edu.cn/anaconda/pkgs/r
conda config --add channels http://mirrors.aliyun.com/pypi/simple/

创建新的虚拟环境：

conda create -n py36ts19 python=3.6

激活环境：

conda activate py36ts19

安装tensorflow：

pip install scrapy -i https://pypi.tuna.tsinghua.edu.cn/simple tensorflow==1.9 pip==21.3.1
pip install scrapy -i https://pypi.tuna.tsinghua.edu.cn/simple tensorflow-gpu==1.9 pip==21.3.1

安装NumPy：

pip install -U numpy==1.15 -i https://pypi.tuna.tsinghua.edu.cn/simple

安装SciPy：

pip install -U scipy==1.1.0 -i https://pypi.tuna.tsinghua.edu.cn/simple

安装Pandas：

pip install -U pandas==0.23 -i https://pypi.tuna.tsinghua.edu.cn/simple

克隆项目：

git clone https://github.com/VeritasYin/STGCN_IJCAI-18.git

安装cuda和cudnn：

conda install cudatoolkit=9.0
conda install cudnn=7

退出环境：

conda deactivate

ASTGCN、STSGCN和STFGNN的环境配置

代码库地址：
ASTGCN：https://github.com/Davidham3/ASTGCN
在这里插入图片描述
STSGCN：https://github.com/Davidham3/STSGCN
在这里插入图片描述
STFGNN：https://github.com/MengzhangLI/STFGNN
在这里插入图片描述
他们都推荐用docker，但是docker-gup只能在Liunx环境上安装，所以我没有用docker来快速安装，还是用conda：

conda create -n  mxnet_envs python=3.6
conda remove -n mxnet_envs --all
conda activate mxnet_envs
conda install cudatoolkit=10.0.130 
conda install cudnn=7.3.1
pip install mxnet-cu100 -i https://pypi.tuna.tsinghua.edu.cn/simple 
pip install -U pytest
pip install -i https://pypi.tuna.tsinghua.edu.cn/simple graphviz==0.8.4
conda deactivate

数据集

数据集的收集

到这个网址https://pems.dot.ca.gov/?dnode=Clearinghouse上注册登录（注意只能使用国外邮箱哦。）
在这里插入图片描述
时间序列，选择Station 5-Minute、District X，下面就会有01年到22年的每个月每日的交通流量数据：
在这里插入图片描述
空间位置数据，选择Station metadata，选择对应地区的对应月份就可以得到对应的传感器空间位置数据集：
在这里插入图片描述
此页面旁边也有对数据的描述：
对于时间序列的描述：

特征描述
Timestamp摘要间隔开始的日期和时间。例如，时间 08：00：00 表示聚合包含在 08：00：00 和 08：04：59 之间收集的度量值。请注意，对于五分钟的聚合，第二个值始终为 0。格式为 MM/DD/YYYY HH24：MI：SS。
Station唯一的工作站标识符。使用此值可与元数据文件交叉引用。
District#区
Freeway#高速公路
Direction of Travel前往路线N \S \E \W
Lane Type指示车道类型的字符串。可能的值（及其含义为：CD （Coll/Dist）；CH（常规公路）；FF （Fwy-Fwy 连接器）；FR（下坡道）；高压（HOV）；ML （主线）；OR（斜坡上）
Station Length车站覆盖的航段长度（以英里/公里为单位）。
Samples所有车道收到的样本总数。
% Observed在此位置观察到的单个车道点的百分比（例如，not imputed）。
Total Flow5 分钟内所有车道的流量总和。请注意，基本的 5 分钟汇总会根据从控制器接收到的良好样本数对流程进行标准化。Veh/5-min
Avg Occupancy5 分钟内所有车道的平均占用率以介于 0 和 1 之间的十进制数表示。%
Avg Speed所有车道上 5 分钟内的流量加权平均速度。如果流量为 0，则为 5 分钟工位速度的数学平均值。Mph
Lane N SamplesN通道收到的合格样品数（范围从 1 到该位置的通道数）
Lane N Flow通道N在 5 分钟内的总流量由良好样品的数量归一化Veh/5-min
Lane N Avg Occ车道N的平均占用率表示为介于 0 和 1 之间的十进制数。（N的范围从 1 到该位置的车道数）%
Lane N Avg Speed车道 N 速度的流量加权平均值。如果流量为 0，则为 5 分钟车道速度的数学平均值。N 范围从 1 到车道数Mph
Lane N Observed1 表示观测到的数据，0 表示插补的数据。

对于空间序列的描述：

特征描述
ID一个整数值，用于唯一缩进工作站元数据。使用此值可以"加入"包含电台元数据的其他信息交换所文件
Freeway高速公路号码
Freeway Direction指示高速公路方向的字符串
County Identifie标识 PeMS 中包含此站的唯一编号。
City城市
State Postmile国家里程
Absolute Postmile绝对里程
Latitude经度
Longitude纬度
Length长度
Type类型
Lanes车道总数
Name名字
User IDs[1-4]用户输入的字符串标识符

数据集的预处理

数据集的预处理的整体思路就是：
在这里插入图片描述
时间序列和空间序列要保留的特征加粗了：

Station 5-Minute：Timestamp、Station、District#、Freeway#、Direction of Travel、Lane Type、Station Length、Samples、% Observed、Total Flow、Avg Occupancy、Avg Speed、Lane N Samples、Lane N Flow、Lane N Avg Occ、Lane N Avg Speed、Lane N Observed
Station metadata：ID、Freeway、Freeway Direction、County Identifie、City、State Postmile、Absolute Postmile、Latitude、Longitude、Length、Type、Lanes、Name、User IDs[1-4]
STGCN只用了一个特征值speed，ASTGCN、STSGCN和STFGNN的特征向量是flow、occupancy和speed。所以评价指标的大小会有差异哦。

import csv
from os import listdir
import pandas as pd
import numpy as np
from geopy.distance import geodesic

# 站点数
num_station = 50
# 天数
num_days = 31

# 读取文件夹下单文件
# 目录列表
dir = '下载的数据集存放的文件夹'
# 打开结果文件
# 目录中所有的文件
for filename in listdir(dir):
    # 找到csv文件
    if filename.endswith('.csv'):
        # 读取csv文件
        data = pd.read_csv(下载的数据集存放的文件夹' + filename, header=None)
        # 提取传感器编号列,第2列
        data_station = data.iloc[:, 1]
        station_nums = np.array(data_station)
        after_enumerate = enumerate(station_nums)
        li = []
        # 如果不是前50个传感器，则数据被删除
        for station_index, station_num in after_enumerate:
            if station_index % 10 == 0:
                print(station_index, station_num)
            if station_num > 715974:  # 50
                li.append(station_index)
        data_new = data.drop(labels=li, axis=0).loc[:, [0, 1, 9, 10, 11]]
        data_new.to_csv('aggregation.csv', mode='a', index=None, header=None)
        print(filename + ' is done!')

# 时间序列变换
# 采用线性插值法填补缺失值填充缺失值
datas = pd.read_csv('aggregation.csv', header=None)
datas = datas.interpolate(method='values')
# 保存为stgcn的数据格式
v_value = np.zeros((288 * num_days, num_station))
# 保存为astgcn的数据格式
fos = np.zeros((288 * num_days, num_station, 3))
for i in range(0, 288 * num_days):  # 一天24小时，5分钟一次，num_days天的数据
    for j in range(0, num_station):
        v_value[i][j] = datas.loc[i * num_station + j, 2] # flow
        fos[i][j][0] = datas.loc[i * num_station + j, 2] # flow
        fos[i][j][1] = datas.loc[i * num_station + j, 3] # occupy
        fos[i][j][2] = datas.loc[i * num_station + j, 4] # speed
# 保存
new_data_v = pd.DataFrame(v_value)
new_data_v.to_csv('PeMSD7_V_50.csv', index=None, header=None)
np.savez('PeMS22_07.npz', data=fos)
print('时间序列片变换完毕！')

# 空间信息
# 不能解决txt中对应列有空值的问题
txt_file = r"D:\BYSJ\pems77_07\d7_sation.txt"
csv_file = r"d07_meta_2022_03.csv"

csvFile = open(csv_file, 'w', newline='', encoding='utf-8')
writer = csv.writer(csvFile)
csvRow = []

f = open(txt_file, 'r', encoding='utf-8')
for line in f:
    csvRow = line.split()
    writer.writerow(csvRow)

f.close()
csvFile.close()

# 空间信息转换
data = pd.read_csv('d07_meta_2022_03.csv')
# 读取编号
sid = data.iloc[:, 0]
# 读取公路
fwy = data.iloc[:, 1]
# 读取绝对里程
apm = data.iloc[:, 7]
# 读取维度
lat = data.iloc[:, 8]
# 读取经度
lon = data.iloc[:, 9]
# 计算节点权重
datas = np.zeros((num_station, num_station))  # 创建num_station*num_station的数组
for i in range(0, num_station):
    for j in range(0, num_station):
        datas[i][j] = geodesic((lat[i], lon[i]), (lat[j], lon[j])).m  # 以m为单位
weight_csv = pd.DataFrame(datas)
# 不保留列、行索引
weight_csv.to_csv('PeMSD7_W_50.csv', header=None, index=None)

cost = np.zeros((num_station, num_station))
# 计算stsgcn用的距离矩阵
cost_arr = []
for i in range(0, num_station):
    for j in range(0, i):
        if i != j and fwy[i] == fwy[j]:
            cost[i][j] = abs(apm[i] - apm[j])

for i in range(0, num_station):
    min_cost = 3000
    min_index = 0
    for j in range(0, num_station):
        if cost[i][j] != 0 and cost[i][j] < min_cost:
            min_index = j
            min_cost = cost[i][j]
    if i != min_index and min_cost != 3000:
        cost_arr.append([i, min_index, min_cost * 1.6093])
dis_csv = pd.DataFrame(cost_arr, columns=['from', 'to', 'cost'])
dis_csv.to_csv('d07_distance.csv')
print('空间序列片变换完毕！')

我们把处理好的数据集放在这些文件夹下：
STGCN
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

模型的训练

训练ASTGCN、STSGCN、STFGNN模型前要先写配置文件，比如ASTGCN模型的配置文件：
在这里插入图片描述

[Data]
adj_filename = data/PEMS2022/distance.csv
graph_signal_matrix_filename = data/PEMS2022/PEMS2022.npz
num_of_vertices = 150
points_per_hour = 12
num_for_predict = 12

[Training]
model_name = ASTGCN
ctx = gpu-0
optimizer = adam
learning_rate = 0.001
epochs = 70
batch_size = 16
num_of_weeks = 1
num_of_days = 1
num_of_hours = 3
K = 3
merge = 0
prediction_filename = ASTGCN_prediction_2022
params_dir = experiment2

STGCN模型可以在main.py中修改默认配置，也可以在输入命令时传入配置：
在这里插入图片描述

STGCN：(py36ts19)python main.py --n_route 150 --graph  D:\BYSJ\minnconda\STGCN_IJCAI-18\dataset/PeMSD7_W_150.csv --epoch 70
ASTGCN：(mxnet_envs) python main.py --config configurations/PEMS2207.conf --force True 
STSGCN：(mxnet_envs) python main.py --config config/PEMS2022/individual_GLU_mask_emb.json
STFGNN：(mxnet_envs) python main_4n0_3layer_12T_res.py --config config/PEMS2022/individual_3layer_12T.json

重复十次训练的代码：

import os, re
# execute command, and return the output
def execCmd(cmd):
    r = os.popen(cmd)
    text = r.read()
    r.close()
    return text
# wite "data" to file-filename
def writeFile(filename, data):
    f = open(filename, "a")
    f.write(data)
    f.close()
# 获取输出的内容
if __name__ == '__main__':
    for i in range(10):
        print(i)
        cmd = "python main.py"
        result = execCmd(cmd)
        filename = "存放输出的文件位置"
        writeFile(filename, result)

数据集

我自己收集处理两个数据集，分别命名为PeMS2022和PeMS22_07
在这里插入图片描述
戳这里下载哦。提取码：qbh6

蝉鸣的夏天
关注
专栏目录
(19) 交通预测---基于时空注意力机制的图卷积神经网络
zuiyishihefang的博客
08-28 1万+
交通预见未来(19): 交通预测---基于时空注意力机制的图卷积神经网络 1、文章信息 《Attention Based Spatial-Temporal Graph Convolutional Networks for Traffc Flow Forecasting》。 北京交通大学博士生校友2019年初发在AAAI顶会上的一篇文章。 2、摘要 针对交通流预测问题，提出了一种基于注意力...
STGCN-时空图卷积网络
2301_78731684的博客
12-11 3643
STGCN作为一种专门用于处理时空数据的深度学习网络，具有高效性、可解释性和广泛应用性等优点。通过结合图卷积网络和因果卷积网络，STGCN可以有效地从时间和空间两个维度上提取特征，并考虑时间序列之间的因果关系。在实现STGCN时，需要关注数据预处理、网络结构设计、损失函数和优化器选择以及训练策略等方面。为了提高STGCN的性能和预测精度，可以采取模型集成、知识蒸馏、迁移学习和混合精度训练等优化策略。
ASTGCN模型数学原理与代码详解（网络模型部分）
最新发布
m0_62483049的博客
09-29 1285
这是一份用于ASTGCN模型理解的入门教程，将以代码的视角附带简单易懂的示例来阐述模型中空间与时间注意力机制的实现过程，并梳理模型框架与图神经网络的卷积运算过程。ASTGCN在时间序列预测上具有良好的性能，是研究图数据预测问题的重要基础模型，值得每一个深度学习入门玩家学习。
交通流量预测-混合注意力时空图卷积-ASTGCN
Yichar的博客
08-19 1万+
Attention Based Spatial-Temporal Graph Convolutional Networks for Traffic Flow Forecasting 论文简介论文背景摘要相关研究论文所做的工作符号定义和问题定义ASTGCN实现 论文简介 发表时间：2019 AAAI 发表单位：北京交通大学 论文链接：https://aaai.org/ojs/index.php/AAAI/article/download/3881/3759 PPT链接：https://github.com/D
时空预测用简单线性模型，效果比各类STGCN都要好？
AI蜗牛车
08-31 653
最近一年，时间序列预测中出现了很多线性模型，例如DLinear、TSMixer等等，在这些工作中，验证了这类非常简单的线性模型甚至比很多复杂的Transformer类型的模型效果都要好。那么，在时空预测中，简单的线性模型也适用吗？今年以来，确实出现了两篇相关的文章，通过非常简单的线性模型+Embedding的方式进行时空预测，效果超越了STGCN等各种时空预测复杂模型。本文总结了这两篇文章的工作，...
论文阅读笔记：ASTGCN-Attention Based Spatial-Temporal Graph Convolutional Networksfor Traffic Flow Forecas
ayuuuuu的博客
11-19 2790
翻译
【交通预测模型】STSGCN
gao00013的博客
11-15 1031
时空网络数据预测在交通管理和城市规划中有着广泛的应用。然而，潜在的复杂时空相关性和异质性使这个问题具有挑战性。现有方法通常使用单独的分量来捕获时空相关性，而忽略了时空数据的异质性。本文提出了一种时空同步图卷积网络(STSGCN)模型，用于时空网络数据预测。该模型通过精心设计的时空同步建模机制，能够有效捕获复杂的局部时空关联。同时，在模型中针对不同时间段设计了多个模块，有效捕捉局部时空图的异质性。在四个真实数据集上进行了广泛的实验，这表明我们的方法达到了最先进的性能，并且始终优于其他基线。
ST-GCN的学习之路（二）源码解读 （Pytorch版）
热门推荐
qq_44024204的博客
03-20 2万+
ST-GCN的学习之路（二）源码解读 （Pytorch版）引言代码分析核心代码分析 net网络graph.pyself.get_edgeself.get_hop_distanceself. get_adjacencyst-gcn.py网络的输入网络的结构ST-GCN基本单元tgcn.py其他代码总结博客参考插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰
交通预测模型合集：STGCN、DCRNN、ASTGCN、Graph wavenet、STGNN、STSGCN、STFGNN
04-17
注：仅学习使用哈~主要包含的模型:STGCN、DCRNN、ASTGCN、Graph wavenet、STGNN、STSGCN、STFGNN。 模型所在的文章分析链接：（注：下述链接预计在2025年发布） STGCN：...
STGCN、ASTGCN、STSGCN、STFGNN
08-23
- *1* *2* *3* [STGCN、ASTGCN、STSGCN、STFGNN模型的对比实验操作步骤](https://blog.csdn.net/yukiaustin/article/details/125122206)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{...
STGCN-PyTorch-master.zip_STGCN 代码分析_STGCN pytorch_stgcn_stgcn d
07-15
STGCN（Spatial-Temporal Graph Convolutional Network）是一种深度学习模型，主要应用于时序数据，特别是人体动作识别领域。这个"STGCN-PyTorch-master.zip"压缩包包含了一个基于PyTorch实现的STGCN源码，是IJCAI ...
C39P72DmTt
10-24
C39P72DmTt
STGCN.rar 百度模型 Onnx模型
09-20
标题中的“STGCN.rar”是一个压缩包文件，其中包含了多个与深度学习模型STGCN（Spatial Temporal Graph Convolutional Network）相关的组件。STGCN是一种专门处理时空序列数据的深度学习框架，广泛应用于诸如人体...
STGCN_IJCAI-18-master_交通流预测_python_stgcn_
09-29
"附带结果图"表明，压缩包可能包含了使用STGCN模型预测交通流后的可视化结果，这些图可能包括预测值与实际值的对比，或者展示了模型在不同时间段和地点的表现，有助于理解和评估模型的性能。 在STGCN_IJCAI-18-...
STGCN时空图卷积网络:用于交通预测的深度学习框架
lwera的博客
09-28 5900
提出了一种新的深度学习架构——时空图卷积网络，用于交通预测任务。该架构包括几个时空卷积块，它们是图卷积层[Defferrard等人，2016]和卷积序列学习层的组合，以建模空间和时间依赖性。据我们所知，在交通研究中应用纯卷积结构同时从图结构时间序列中提取时空特征尚属首次。我们在两个真实世界的交通数据集上评估我们提出的模型。实验表明，该框架在具有多个预估长度和网络规模的预测任务中性能优于现有的基线。
【毕业设计】【周记】STGCN模型的改进和可视化
yukiaustin的博客
03-03 3874
前言 主要记录一下实验过程中遇到的问题，理论部分的内容不做详述。 第一周（2022/02/28-2022/03/04）
动作识别/分类——STGCN（复现方法说明）
luodaxia_ttt的博客
05-16 1万+
本文不涉及对STGCN的理解，仅讲解如何跑通程序。 针对开源项目st-gcn
【深度学习】时空图卷积网络（STGCN），预测交通流量
q742971636的博客
05-09 3373
准时准确的交通预测对城市交通控制和引导至关重要。由于交通流的高非线性和复杂性，传统方法无法满足中长期预测任务的要求，并且通常忽视空间和时间依赖关系。本文提出了一种新颖的深度学习框架，即时空图卷积网络（STGCN），用于解决交通领域的时间序列预测问题。我们不是应用常规的卷积和循环单元，而是在图上制定问题，并利用完整的卷积结构构建模型，这使得训练速度更快，参数更少。实验证明，我们的模型STGCN通过建模多尺度交通网络有效地捕获了全面的时空相关性，并在各种真实世界的交通数据集上始终优于最先进的基线模型。
评论 43
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值