Python爬虫下载加州高速路网PeMS交通流量数据集以及交通公开数据集分享

最新推荐文章于 2024-09-20 20:00:48 发布

w771792694

最新推荐文章于 2024-09-20 20:00:48 发布

阅读量2.6w

点赞数 90

分类专栏： Python 文章标签： PeMS 爬虫交通数据集 python 加州路网

本文链接：https://blog.csdn.net/w771792694/article/details/103075534

版权

Python 专栏收录该内容

4 篇文章 5 订阅

订阅专栏

博主分享了一个Python爬虫程序，用于自动化下载PeMS加州高速路网的交通流量数据集，避免手动操作。还提供了部分已下载的数据集、论文和相关交通数据集的链接。更新中包括了数据集的使用说明和代码公开。

摘要由CSDN通过智能技术生成

由于PeMS（PeMS）下载交通数据集一次只能下载一周数据，并且要一次一次的点击，比较麻烦。
故写出了一个小的爬虫程序，自动下载PeMS路网上VDS的数据集（前提需要FQ，需要挂全局代理）
下载为5分钟时间间隔的流量数据，为了防止IP被封，每下载一周 Sleep 15秒，也可自己更改
具体使用只需要更改：
文件保存地址：save_path
需要下载的VDS列表：vds_list
下载数据的开始与结束时间: start_time, end_time
以及down_load_data函数中data中登陆PeMS系统的账号与密码

PEMS官网自动下载数据集代码（需FQ）

#!/usr/bin/env python
# -*- coding: utf-8 -*-
# @Time    : 2019/11/14 21:23
# @Author  : Chenchen Wei
# @Description: 下载PeMS流量数据，一次下载一周数据，并将下载的周数据进行合并

import time
import os
import numpy as np
import pandas as pd
import requests


def time_2_timestamp(input, lags=True):
    """默认True: 时间转化为时间戳, 包含时差计算"""
    if lags:
        timeArray = time.strptime(input, "%Y-%m-%d %H:%M")
        # 转换成时间戳
        return int(time.mktime(timeArray) + 8 * 60 * 60)  # 时差计算
    else:
        time_local = time.localtime(input - 8 * 60 * 60)
        return time.strftime("%Y-%m-%d %H:%M", time_local)


def download(save_path, vds, start_time, end_time):
    """时间转化为时间戳"""
    start_stamp, end_stamp = time_2_timestamp(start_time), time_2_timestamp(end_time)
    i = 1
    for begin in range(start_stamp, end_stamp, 60 * 60 * 24 * 7):
        url = get_url(vds, begin)
        down_load_data(save_path, url, i)
        i += 1
        print('Sleeping...')
        time.sleep(15)  # 下载完成休息五秒


def down_load_data(save_path, url, i):
    headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) "
                             "AppleWebKit/537.36 (KHTML, like Gecko) Chrome/54.0.2840.99 Safari/537.36"}
    data = {"redirect": "", "username": "账号",
            "password": "密码", "login": "Login"}
    session = requests.session()
    response = session.post(url, headers=headers, data=data)
    response = session.get(url)
    with open(save_path + '\\' + str(i) + '.xlsx', 'wb') as f:
        f.write(response.content)
        print('下载成功')


def get_url(vds, begin):
    str_begin = time_2_timestamp(begin, False)
    s_begin = str_begin[5:7] + '%2F' + str_begin[8:10] + '%2F' + str_begin[:4] + '+00%3A00',
    end = begin + 60 * 60 * 24 * 7 - 60
    str_end = time_2_timestamp(end, False)
    s_end = str_end[5:7] + '%2F' + str_end[8:10] + '%2F' + str_end[:4] + '+23%3A59',
    url = 'http://pems.dot.ca.gov/?report_form=1&dnode=VDS&content=loops&export=xls&station_id=' \
          + str(vds) + '&s_time_id=' + str(begin) + '&s_time_id_f=' + str(s_begin) + '&e_time_id=' + str(
            end) + '&e_time_id_f=' + str(s_end) + '&tod=all&tod_from=0&tod_to=0&dow_0=on&dow_1=on&dow_2=on&dow_3=on&dow_4=on&dow_5=on&dow_6' \
            '=on&holidays=on&q=flow&q2=&gn=5min&agg=on&lane1=on&lane2=on&lane3=on&lane4=on'
    # print(url)
    print('获取url: vds[%s] %s --- %s' % (str(vds), str_begin, str_end))
    return url


def combine_download_data(vds, path):
    num = len(os.listdir(path))
    dfs = pd.read_excel(path + '\\1.xlsx', index_col=None).values
    for i in range(2, num + 1):
        df = pd.read_excel(path + '\\' + str(i) + '.xlsx', index_col=None).values
        dfs = np.row_stack((dfs, df))
    pd.DataFrame(dfs).to_csv(path + '\\' + str(vds) + '_combine.csv', index=None, header=None)
    print('合并文件保存成功')


if __name__ == '__main__':
    save_path = r'G:\文档\交通数据集\加州数据集\自动下载数据'  # 文件保存路径
    vds_list = [602467, 602468]  # 需要下载的VDS列表
    start_time, end_time = '2019-01-01 00:00', '2019-01-14 23:59'  # 数据下载开始于结束时间，每次下载一周，无数据则下载为空文件

    for vds in vds_list:
        name = start_time[2:10] + '_' + end_time[2:10]
        save_paths = save_path + '\\' + name + '\\' + str(vds)  # 创建文件保存路径
        if not os.path.exists(save_paths):
            os.makedirs(save_paths)
        print('开始下载：%s   %s---%s' % (str(vds), start_time, end_time))
        download(save_paths, vds, start_time, end_time)  # 下载文件
        combine_download_data(vds, save_paths)  # 将单个VDS下载文件进行合并

2020年6月16日更新（部分路网数据集）

由于许多同学联系私信寻求数据集，因此在此将本人做研究下载的部分数据集分享出来，希望对大家有帮助：提取密码：lwil

另提供一个自己Fork的Github,里面有部分交通数据集，可自行下载。在这里插入图片描述
由于Github中西雅图数据也存储在谷歌网盘里面，需要FQ，因此在百度网盘中有原始数据集以及按照工作日与休息日划分后的西雅图数据集。
此外，截止目前评论区留邮箱的同学，本人已将数据链接及数据作为附件发送至邮箱，注意查收。

2020年7月18日更新（论文以及部分数据集）

由于之前百度云失效，抽空更新了下最新的百度云链接：提取码：g8ce，
另附上本人最新发表的一篇论文：GE-GAN: A novel deep learning framework for road traffic state estimation（TRC），希望对大家有帮助，欢迎引用。

还有本人了解的其他论文中公开的交通数据集及代码，此部分数据集均可直接下载：
Diffusion Convolutional Recurrent Neural Network: Data-Driven Traffic Forecasting(DCRNN)，
该数据集包含Los Angeles (METR-LA) ：207个检测器2012年四个月的数据
the Bay Area (PEMS-BAY)：325个检测器2017年6个月的数据

另一个公布数据集与代码的文章为：
Attention Based Spatial-Temporal Graph Convolutional Networks for Traffic Flow Forecasting (ASTGCN)
该数据集包含：
在这里插入图片描述
同样，已将数据集发送至所有留邮箱的同学。如未收到，可自行下载。
点波关注不迷路，后续如发现新的交通数据集，会不定期更新。。。