STGCN、ASTGCN、STSGCN、STFGNN模型的对比实验操作步骤

已于 2022-06-04 16:16:50 修改
阅读量4.9k 收藏 104
点赞数 20
分类专栏： 深度学习 文章标签： tensorflow python 深度学习
于 2022-06-04 16:05:59 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/yukiaustin/article/details/125122206
版权

前言

这是我的本科毕业设计，没有用这些大佬们发布的数据集，第一是因为老师会说没有工作量，第二是他们的数据集都是预处理好了，比如PeMSD7如果要更其它的模型比较就没办法像ASTGCN、STSGCN、STFGNN模型要求输入的空间序列一样，具体的问题我会等我拿到了毕业证再阐述。

实验过程

环境配置

都采用conda来配置虚拟环境。

STGCN的环境配置

代码库地址：https://github.com/VeritasYin/STGCN_IJCAI-18
在这里插入图片描述
更新最新的地址：

conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/msys2/
conda config --add channels http://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/pytorch/
conda config --add channels http://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/conda-forge/
conda config --add channels http://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/bioconda/
conda config --add channels https://mirror.tuna.tsinghua.edu.cn/anaconda/pkgs/pro
conda config --add channels https://mirror.tuna.tsinghua.edu.cn/anaconda/pkgs/r
conda config --add channels http://mirrors.aliyun.com/pypi/simple/

创建新的虚拟环境：

conda create -n py36ts19 python=3.6

激活环境：

conda activate py36ts19

安装tensorflow：

pip install scrapy -i https://pypi.tuna.tsinghua.edu.cn/simple tensorflow==1.9 pip==21.3.1
pip install scrapy -i https://pypi.tuna.tsinghua.edu.cn/simple tensorflow-gpu==1.9 pip==21.3.1

安装NumPy：

pip install -U numpy==1.15 -i https://pypi.tuna.tsinghua.edu.cn/simple

安装SciPy：

pip install -U scipy==1.1.0 -i https://pypi.tuna.tsinghua.edu.cn/simple

安装Pandas：

pip install -U pandas==0.23 -i https://pypi.tuna.tsinghua.edu.cn/simple

克隆项目：

git clone https://github.com/VeritasYin/STGCN_IJCAI-18.git

安装cuda和cudnn：

conda install cudatoolkit=9.0
conda install cudnn=7

退出环境：

conda deactivate

ASTGCN、STSGCN和STFGNN的环境配置

代码库地址：
ASTGCN：https://github.com/Davidham3/ASTGCN
在这里插入图片描述
STSGCN：https://github.com/Davidham3/STSGCN
在这里插入图片描述
STFGNN：https://github.com/MengzhangLI/STFGNN
在这里插入图片描述
他们都推荐用docker，但是docker-gup只能在Liunx环境上安装，所以我没有用docker来快速安装，还是用conda：

conda create -n  mxnet_envs python=3.6
conda remove -n mxnet_envs --all
conda activate mxnet_envs
conda install cudatoolkit=10.0.130 
conda install cudnn=7.3.1
pip install mxnet-cu100 -i https://pypi.tuna.tsinghua.edu.cn/simple 
pip install -U pytest
pip install -i https://pypi.tuna.tsinghua.edu.cn/simple graphviz==0.8.4
conda deactivate

数据集

数据集的收集

到这个网址https://pems.dot.ca.gov/?dnode=Clearinghouse上注册登录（注意只能使用国外邮箱哦。）
在这里插入图片描述
时间序列，选择Station 5-Minute、District X，下面就会有01年到22年的每个月每日的交通流量数据：
在这里插入图片描述
空间位置数据，选择Station metadata，选择对应地区的对应月份就可以得到对应的传感器空间位置数据集：
在这里插入图片描述
此页面旁边也有对数据的描述：
对于时间序列的描述：

特征描述
Timestamp摘要间隔开始的日期和时间。例如，时间 08：00：00 表示聚合包含在 08：00：00 和 08：04：59 之间收集的度量值。请注意，对于五分钟的聚合，第二个值始终为 0。格式为 MM/DD/YYYY HH24：MI：SS。
Station唯一的工作站标识符。使用此值可与元数据文件交叉引用。
District#区
Freeway#高速公路
Direction of Travel前往路线N \S \E \W
Lane Type指示车道类型的字符串。可能的值（及其含义为：CD （Coll/Dist）；CH（常规公路）；FF （Fwy-Fwy 连接器）；FR（下坡道）；高压（HOV）；ML （主线）；OR（斜坡上）
Station Length车站覆盖的航段长度（以英里/公里为单位）。
Samples所有车道收到的样本总数。
% Observed在此位置观察到的单个车道点的百分比（例如，not imputed）。
Total Flow5 分钟内所有车道的流量总和。请注意，基本的 5 分钟汇总会根据从控制器接收到的良好样本数对流程进行标准化。Veh/5-min
Avg Occupancy5 分钟内所有车道的平均占用率以介于 0 和 1 之间的十进制数表示。%
Avg Speed所有车道上 5 分钟内的流量加权平均速度。如果流量为 0，则为 5 分钟工位速度的数学平均值。Mph
Lane N SamplesN通道收到的合格样品数（范围从 1 到该位置的通道数）
Lane N Flow通道N在 5 分钟内的总流量由良好样品的数量归一化Veh/5-min
Lane N Avg Occ车道N的平均占用率表示为介于 0 和 1 之间的十进制数。（N的范围从 1 到该位置的车道数）%
Lane N Avg Speed车道 N 速度的流量加权平均值。如果流量为 0，则为 5 分钟车道速度的数学平均值。N 范围从 1 到车道数Mph
Lane N Observed1 表示观测到的数据，0 表示插补的数据。

对于空间序列的描述：

特征描述
ID一个整数值，用于唯一缩进工作站元数据。使用此值可以"加入"包含电台元数据的其他信息交换所文件
Freeway高速公路号码
Freeway Direction指示高速公路方向的字符串
County Identifie标识 PeMS 中包含此站的唯一编号。
City城市
State Postmile国家里程
Absolute Postmile绝对里程
Latitude经度
Longitude纬度
Length长度
Type类型
Lanes车道总数
Name名字
User IDs[1-4]用户输入的字符串标识符

数据集的预处理

数据集的预处理的整体思路就是：
在这里插入图片描述
时间序列和空间序列要保留的特征加粗了：

Station 5-Minute：Timestamp、Station、District#、Freeway#、Direction of Travel、Lane Type、Station Length、Samples、% Observed、Total Flow、Avg Occupancy、Avg Speed、Lane N Samples、Lane N Flow、Lane N Avg Occ、Lane N Avg Speed、Lane N Observed
Station metadata：ID、Freeway、Freeway Direction、County Identifie、City、State Postmile、Absolute Postmile、Latitude、Longitude、Length、Type、Lanes、Name、User IDs[1-4]
STGCN只用了一个特征值speed，ASTGCN、STSGCN和STFGNN的特征向量是flow、occupancy和speed。所以评价指标的大小会有差异哦。

import csv
from os import listdir
import pandas as pd
import numpy as np
from geopy.distance import geodesic

# 站点数
num_station = 50
# 天数
num_days = 31

# 读取文件夹下单文件
# 目录列表
dir = '下载的数据集存放的文件夹'
# 打开结果文件
# 目录中所有的文件
for filename in listdir(dir):
    # 找到csv文件
    if filename.endswith('.csv'):
        # 读取csv文件
        data = pd.read_csv(下载的数据集存放的文件夹' + filename, header=None)
        # 提取传感器编号列,第2列
        data_station = data.iloc[:, 1]
        station_nums = np.array(data_station)
        after_enumerate = enumerate(station_nums)
        li = []
        # 如果不是前50个传感器，则数据被删除
        for station_index, station_num in after_enumerate:
            if station_index % 10 == 0:
                print(station_index, station_num)
            if station_num > 715974:  # 50
                li.append(station_index)
        data_new = data.drop(labels=li, axis=0).loc[:, [0, 1, 9, 10, 11]]
        data_new.to_csv('aggregation.csv', mode='a', index=None, header=None)
        print(filename + ' is done!')

# 时间序列变换
# 采用线性插值法填补缺失值填充缺失值
datas = pd.read_csv('aggregation.csv', header=None)
datas = datas.interpolate(method='values')
# 保存为stgcn的数据格式
v_value = np.zeros((288 * num_days, num_station))
# 保存为astgcn的数据格式
fos = np.zeros((288 * num_days, num_station, 3))
for i in range(0, 288 * num_days):  # 一天24小时，5分钟一次，num_days天的数据
    for j in range(0, num_station):
        v_value[i][j] = datas.loc[i * num_station + j, 2] # flow
        fos[i][j][0] = datas.loc[i * num_station + j, 2] # flow
        fos[i][j][1] = datas.loc[i * num_station + j, 3] # occupy
        fos[i][j][2] = datas.loc[i * num_station + j, 4] # speed
# 保存
new_data_v = pd.DataFrame(v_value)
new_data_v.to_csv('PeMSD7_V_50.csv', index=None, header=None)
np.savez('PeMS22_07.npz', data=fos)
print('时间序列片变换完毕！')

# 空间信息
# 不能解决txt中对应列有空值的问题
txt_file = r"D:\BYSJ\pems77_07\d7_sation.txt"
csv_file = r"d07_meta_2022_03.csv"

csvFile = open(csv_file, 'w', newline='', encoding='utf-8')
writer = csv.writer(csvFile)
csvRow = []

f = open(txt_file, 'r', encoding='utf-8')
for line in f:
    csvRow = line.split()
    writer.writerow(csvRow)

f.close()
csvFile.close()

# 空间信息转换
data = pd.read_csv('d07_meta_2022_03.csv')
# 读取编号
sid = data.iloc[:, 0]
# 读取公路
fwy = data.iloc[:, 1]
# 读取绝对里程
apm = data.iloc[:, 7]
# 读取维度
lat = data.iloc[:, 8]
# 读取经度
lon = data.iloc[:, 9]
# 计算节点权重
datas = np.zeros((num_station, num_station))  # 创建num_station*num_station的数组
for i in range(0, num_station):
    for j in range(0, num_station):
        datas[i][j] = geodesic((lat[i], lon[i]), (lat[j], lon[j])).m  # 以m为单位
weight_csv = pd.DataFrame(datas)
# 不保留列、行索引
weight_csv.to_csv('PeMSD7_W_50.csv', header=None, index=None)

cost = np.zeros((num_station, num_station))
# 计算stsgcn用的距离矩阵
cost_arr = []
for i in range(0, num_station):
    for j in range(0, i):
        if i != j and fwy[i] == fwy[j]:
            cost[i][j] = abs(apm[i] - apm[j])

for i in range(0, num_station):
    min_cost = 3000
    min_index = 0
    for j in range(0, num_station):
        if cost[i][j] != 0 and cost[i][j] < min_cost:
            min_index = j
            min_cost = cost[i][j]
    if i != min_index and min_cost != 3000:
        cost_arr.append([i, min_index, min_cost * 1.6093])
dis_csv = pd.DataFrame(cost_arr, columns=['from', 'to', 'cost'])
dis_csv.to_csv('d07_distance.csv')
print('空间序列片变换完毕！')

我们把处理好的数据集放在这些文件夹下：
STGCN
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

模型的训练

训练ASTGCN、STSGCN、STFGNN模型前要先写配置文件，比如ASTGCN模型的配置文件：
在这里插入图片描述

[Data]
adj_filename = data/PEMS2022/distance.csv
graph_signal_matrix_filename = data/PEMS2022/PEMS2022.npz
num_of_vertices = 150
points_per_hour = 12
num_for_predict = 12

[Training]
model_name = ASTGCN
ctx = gpu-0
optimizer = adam
learning_rate = 0.001
epochs = 70
batch_size = 16
num_of_weeks = 1
num_of_days = 1
num_of_hours = 3
K = 3
merge = 0
prediction_filename = ASTGCN_prediction_2022
params_dir = experiment2

STGCN模型可以在main.py中修改默认配置，也可以在输入命令时传入配置：
在这里插入图片描述

STGCN：(py36ts19)python main.py --n_route 150 --graph  D:\BYSJ\minnconda\STGCN_IJCAI-18\dataset/PeMSD7_W_150.csv --epoch 70
ASTGCN：(mxnet_envs) python main.py --config configurations/PEMS2207.conf --force True 
STSGCN：(mxnet_envs) python main.py --config config/PEMS2022/individual_GLU_mask_emb.json
STFGNN：(mxnet_envs) python main_4n0_3layer_12T_res.py --config config/PEMS2022/individual_3layer_12T.json

重复十次训练的代码：

import os, re
# execute command, and return the output
def execCmd(cmd):
    r = os.popen(cmd)
    text = r.read()
    r.close()
    return text
# wite "data" to file-filename
def writeFile(filename, data):
    f = open(filename, "a")
    f.write(data)
    f.close()
# 获取输出的内容
if __name__ == '__main__':
    for i in range(10):
        print(i)
        cmd = "python main.py"
        result = execCmd(cmd)
        filename = "存放输出的文件位置"
        writeFile(filename, result)

数据集

我自己收集处理两个数据集，分别命名为PeMS2022和PeMS22_07
在这里插入图片描述
戳这里下载哦。提取码：qbh6

蝉鸣的夏天
关注
  • 20
    点赞
  • 踩
  • 104
    收藏
    觉得还不错? 一键收藏
  • 37
    评论
专栏目录
【ASTGCN】模型调试学习笔记
Yukee_的博客
03-01 1576
ASTGCN模型学习记录
STFGNN:STFGNN @ AAAI-2021代码（时空交通数据预测）
05-25
AAAI-2021时空融合图神经网络的交通流量预测 要求 这是STFGNN的MXNet实现：[用于交通流量预测的时空融合图神经网络，AAAI 2021]（ ）。 该框架基于框架构建。 强烈建议您熟悉其管道。 Python3 参见requirements.txt 资料准备 STFGNN在这几个公共交通数据集上实现。 来自PEMS03 ， PEMS04 ， PEMS07和PEMS08 。 使用密码p72z下载数据 ，并使用tar -zxvf data.tar.gz p72z tar -zxvf data.tar.gz解压缩数据文件。 模型训练 PEMS03，PEMS04，PEMS07，PEMS08： python main_4n0_3layer_12T_res.py --config config/XXXX/individual_3layer_12T.json 训练自己的数据集 （
STGCN-时空图卷积网络
2301_78731684的博客
12-11 1965
STGCN作为一种专门用于处理时空数据的深度学习网络，具有高效性、可解释性和广泛应用性等优点。通过结合图卷积网络和因果卷积网络，STGCN可以有效地从时间和空间两个维度上提取特征，并考虑时间序列之间的因果关系。在实现STGCN时，需要关注数据预处理、网络结构设计、损失函数和优化器选择以及训练策略等方面。为了提高STGCN的性能和预测精度，可以采取模型集成、知识蒸馏、迁移学习和混合精度训练等优化策略。
GCN论文阅读与代码梳理（3）——ASTGCN
fmf1287的博客
11-08 6932
ASTGCN包含三个独立分量，分别模拟交通流量的近期依赖性、日周期性和周周期性。主要贡献有： 通过空间注意力捕捉不同位置之间的空间相关性，通过时间注意力捕捉不同时间之间的时间相关性。 设计了时空卷积模块，包括空间图卷积和时间卷积； 在真实公路交通流量数据集上取得最好的效果。 模型架构如下： X_h是一段与预测周期直接相邻的历史时间序列 X_d是一段过去几天中与预测时间段相同的时间段时间序列 X_w是一段过去几周中与预测时间段...
论文阅读笔记：ASTGCN-Attention Based Spatial-Temporal Graph Convolutional Networksfor Traffic Flow Forecas
ayuuuuu的博客
11-19 1652
翻译
时空图卷积神经网络（STGCN）：一个用于交通预测的神经网络框架
热门推荐
myblog
08-17 2万+
论文简介 北大发表在IJCAI 2018的一篇论文，论文题目：Spatio-Temporal Graph Convolutional Networks: A Deep Learning Framework for Traffic Forecasting，谷歌学术被引量296。 论文背景 实时交通预测是一个重要而复杂的问题，因为其不仅存在高度非线性和复杂的交通流，传统的预测方法经常忽视了时间和空间上的依赖。 交通预测研究中，通常选择速度、流量、密度来显示和监视当前的交通状态，根据预测的长度，可以分为短期交通预
深度学习：STGCN学习笔记
zhe470719的博客
11-10 2万+
目录标题基于图神经网络的图分类问题GCN在行为识别领域的应用主要任务研究思路ST-GCN(SpatialTemporal Graph Convolutional Networks for Skeleton-Based Action Recognition)解读原论文解决问题主要贡献核心思想简介OpenPose 预处理基于人体关键点构造graph构造单帧graph（空间域）构造帧间graph（时间域）ST-GCN模型采样函数权重函数空域图卷积空间-时间模型分区策略可学习的边重要性权重TCNST-GCN模型的实
STGCN时空图卷积网络:用于交通预测的深度学习框架
lwera的博客
09-28 4939
提出了一种新的深度学习架构——时空图卷积网络，用于交通预测任务。该架构包括几个时空卷积块，它们是图卷积层[Defferrard等人，2016]和卷积序列学习层的组合，以建模空间和时间依赖性。据我们所知，在交通研究中应用纯卷积结构同时从图结构时间序列中提取时空特征尚属首次。我们在两个真实世界的交通数据集上评估我们提出的模型。实验表明，该框架在具有多个预估长度和网络规模的预测任务中性能优于现有的基线。
基于注意力的时空图卷积网络交通流预测
weixin_53187018的博客
05-12 3379
由于图信号的卷积运算等于通过图傅里叶变换变换到谱域的这些信号的乘积，因此上式可以理解为分别将gθ和x进行傅里叶变换到谱域，然后将它们的变换结果相乘，进行傅里叶反变换，得到卷积运算的最终结果。因此，周周期分量的设计是为了捕捉交通数据中的周周期特征。时间维度卷积：图卷积操作在空间维度捕获图上每个节点的相邻信息后，进一步堆叠时间维度的标准卷积层，通过合并相邻时间片上的信息来更新节点的信号，如图5右侧所示。它包括从原始的基于图的交通网络结构中捕获空间特征的图卷积和从附近的时间片描述依赖关系的时间维度的卷积。
时空图神经网络（Spatio-Temporal Graph Convolutional Networks，STGCN）原理与代码
mzm123321的博客
09-23 4774
时空图神经网络（Spatio-Temporal Graph Convolutional Networks，STGCN）原理与代码
STGCN.rar 百度模型 Onnx模型
09-20
STGCN.rar 包含 infer_cfg.yml STGCN.onnx STGCN.pdiparams STGCN.pdiparams.info STGCN.pdmodel
ST-GCN基于图卷积的行为识别修改模型文件
10-28
ST-GCN官方代码模型，下载后有误，在github上找到的修改版模型，实测可以使用，测试结果与论文中基本一致
ASTGCN(AAAI 2019).pdf
08-13
attention based spatial-temporal graph convolutional networks for traffic flow forecasting
ASTGCN--1个特征代码的data部分
06-27
因为代码和data合并起来太大。所以分开上传的。注意要把data解压缩后放入code文件夹中
STGCN_IJCAI-18-master_交通流预测_python_stgcn_
09-29
STGCN交通流预测，在交通预测时能用上，附带结果图
交通预测模型合集：STGCN、DCRNN、ASTGCN、Graph wavenet、STGNN、STSGCN、STFGNN
最新发布
04-17
注：仅学习使用哈~主要包含的模型:STGCN、DCRNN、ASTGCN、Graph wavenet、STGNN、STSGCN、STFGNN。 模型所在的文章分析链接：（注：下述链接预计在2025年发布） STGCN：...
ASTGCN:基于注意力的时空图卷积网络进行流量预测（ASTGCN）AAAI 2019
05-11
阿斯泰格 基于注意力的时空图卷积网络的交通流量预测（ASTGCN） 参考 数据集 我们在来自加利福尼亚的两个高速公路交通数据集PeMSD4和PeMSD8上验证了我们的模型。 这些数据集由Caltrans绩效评估系统（ ）（ ）每30秒实时收集一次。 交通数据会从原始数据每隔5分钟汇总一次。 该系统在加州主要都会区的高速公路上部署了39,000多台探测器。 有关传感器测站的地理信息记录在数据集中。 我们的实验中考虑了三种流量度量，包括总流量，平均速度和平均占用率。 我们提供两个数据集：PEMS-04，PEMS-08 PEMS-04： 307个探测器2018年1月至2月3个特点：流动，占据，速度。 PEMS-08： 170个检测器2016年7月至8月3个特点：流动，占据，速度。 要求 python> = 3.5 mxnet> = 1.3.0 mxboard 科学的 张
STGCN模型文件(更新)
07-01
STGCN模型文件 图卷积必备模型文件（已更新），结果比原始有优化 包括三种模型文件：st_gcn.kinetics.pt、st_gcn.ntu-xsub.pt、st_gcn.ntu-xview.pt openpose获取姿态文件，可采用新的姿态估计模型，好的姿态数据对...
STGCN、ASTGCN、STSGCN、STFGNN
08-23
STGCN、ASTGCN、STSGCN和STFGNN是四种模型，用于处理时间序列数据。它们在交通流量预测和其他相关领域中具有广泛的应用。 STGCN是时空图卷积网络（Spatio-Temporal Graph Convolutional Network）的简称，它通过在时间维度和空间维度上执行图卷积操作来建模时空关系。该模型可以捕捉交通流量数据中的时空相关性，并实现准确的预测。 ASTGCN是时空图时空图卷积网络（Adaptive Spatio-Temporal Graph Convolutional Network）的简称，它通过自适应地学习时空图的结构来提高模型的性能。ASTGCN在STGCN的基础上引入了自适应的邻接矩阵，从而能够更好地适应不同的数据集和任务。 STSGCN是时空流量预测图卷积网络（Spatio-Temporal Stream Graph Convolutional Network）的简称，它结合了STGCN和流图的概念，能够有效地处理非规则的时间序列数据。STSGCN在建模时空关系时考虑了流图的特性，能够更准确地捕捉交通流量数据中的时空变化。 STFGNN是时空流图神经网络（Spatio-Temporal Flow Graph Neural Network）的简称，它是一种基于图神经网络的模型，用于处理时空流动数据。STFGNN利用图神经网络的能力来学习时空流动数据中的特征表示，并通过多层的图卷积操作来提取时空特征。它在交通流量预测和其他相关任务中取得了良好的性能。 这些模型在不同的应用场景中具有各自的优势和适用性，可以根据具体的任务需求选择合适的模型进行实验和应用。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* *2* *3* [STGCN、ASTGCN、STSGCN、STFGNN模型的对比实验操作步骤](https://blog.csdn.net/yukiaustin/article/details/125122206)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 100%"] [ .reference_list ]

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 37
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值