数据集笔记：Pems 自行下载数据+python处理

以下载District 4的各station每5分钟的车速为例

1 PEMS网站下载数据

点击红色的

选择需要的station和区域，点击search，就是对应的数据，点击数据即可下载 （这个是station每5分钟的速度数据）

 2 pems 速度数据

2.1 每一列的意义

Timestamp	间隔开始的日期和时间。例如，08:00:00的时间表明聚合包含在08:00:00到08:04:59之间收集的测量数据。 请注意，五分钟聚合的秒值总是0。格式为MM/DD/YYYY HH24:MI:SS。
Station	独特的车站标识符。
District	区号
Freeway	高速公路号
Direction	行驶方向 东南西北 ESWN
车道类型	表示车道类型的字符串。 可能的值（及其含义）为： CD（收集/分配） CH（传统公路） FF（高速公路-高速公路连接） FR（下匝道） HV（高占用车道） ML（主线） OR（上匝道）
Station Length	车站覆盖的路段长度，单位为英里/公里。
Samples	所有车道接收的样本总数
% Observed	在这个位置有observation的车道的百分比
Total Flow	所有车道5分钟内流量总和。
Avg Occupancy	5分钟内所有车道的平均占用率，以0到1之间的小数表示
Avg Speed	所有车道5分钟内的流量加权平均速度。如果流量为0，则为5分钟车速的数学平均值
Lane N Samples	车道N收到的良好样本数。
Lane N Flow	5分钟内车道N的总流量。
Lane N Avg Occ	5分钟内车道N的平均占有率
Lane N Avg Speed	5分钟内车道N的平均速度
Lane N Observed	车道N是否有观测值（1代表有，0代表没有）

2.2 python 读取PEMS

import numpy as np
import pandas as pd


#设置header
new_headers = ['Timestamp', 'Station', 'District', 'Freeway', 'Direction',
               'Lane Type', 'Station Length', 'Samples', '%Observed',
               'Total Flow', 'Avg Occupancy', 'Avg Speed']
for i in range(1, (pems04.shape[1]-12)//5+1):
    new_headers.extend([
        f'Lane {i} Samples', f'Lane {i} Flow', f'Lane {i} Avg Occ',
        f'Lane {i} Avg Speed', f'Lane {i} Observed'
    ])


pems04=pd.read_csv('d04_text_station_5min_2023_01_02.txt',names=new_headers)
pems04

 3 pems station 元数据

3.1 每一列的意义

ID	station 的标识
Freeway	高速公路编号
Freeway Direction	表示高速公路方向的字符串
County Identifier	县id
City	城市
State Postmile	州公里标
Absolute Postmile	绝对公里标
Latitude，Longitude	经纬度
Length	长度
Type	类型 可能的值（及其含义）为： CD（收集/分配） CH（传统公路） FF（高速公路-高速公路连接） FR（下匝道） HV（高占用车道） ML（主线） OR（上匝道）
Lanes	车道数
Name	名字
User IDs	用户输入的字符串标识符

3.2 python读取

import numpy as np
import pandas as pd

pems04=pd.read_csv('d04_text_meta_2022_12_13.txt',delimiter='\t')
pems04