在阅读《交通时空大数据分析、挖掘与可视化》一书中,发现数据源获取比较麻烦,因此写下一个脚本获取数据。
在运行前请先下载好requests库,geopandas库。
在运行完后会得到项目运行时的上海市地铁数据,因此站点数目会比书上更多。项目目录下会出现stop.json文件,以及shapefile形式的四个文件。
其中stop.json为代表站点数据(包含往返)的json文件,其中name代表站点名字,linename代表线路的名称,x是线路的编号,lon代表经度,lat代表纬度,num代表该站点在该线路的第几个站,direction代表线路的方向,例如地铁1号线(莘庄-富锦路)的direction为1,而地铁1号线(富锦路-莘庄)的direction为2,direction仅有1和2两个取值。
还有shapefile形式的四个文件,读取其中shp文件如图所示:
项目完整代码:
import requests
import json
from shapely import LineString
import geopandas as gpd
import transbigdata
import pandas as pd
# 通过高德地图爬取数据
url = 'https://map.amap.com/service/subway?_1707368894338&srhdata=3100_drw_shanghai.json'
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/121.0.0.0 '
'Safari/537.36 Edg/121.0.0.0'
}
response = requests.get(url=url, headers=headers)
# 将返回结果转为json格式
result = json.loads(response.text)
# 创建空列表存储站点和线路的数据
stop_data = []
line_data = gpd.GeoDataFrame()
# 存储线路的名字和经纬度数据
names = []
lon_lat_s = []
# 遍历数据
for item in result['l']:
# 提取线路名字,线路起点和终点
line_name = item['kn']
line_direction = '({start}-{end})'
start = item['st'][0]['n']
end = item['st'][-1]['n']
lon_lat = []
names.append(line_name)
x = item['x']
total = len(item['st'])
num = 1
for sub_item in item['st']:
# 提取站点名字和站点经纬度
n_data = sub_item['n']
sl_data = sub_item['sl']
sl_data_parts = sl_data.split(',')
sl_data_A = sl_data_parts[0]
sl_data_B = sl_data_parts[1]
lon_lat.append(sl_data_parts)
# 创建包含站点数据的字典(正方向)
extracted_item_0 = {
'name': n_data,
'linename': line_name + line_direction.format(start=start, end=end),
'lon': sl_data_A,
'lat': sl_data_B,
'x': x,
'num': num,
'direction': 1
}
# 创建包含站点数据的字典(反方向)
extracted_item_1 = {
'name': n_data,
'linename': line_name + line_direction.format(start=end, end=start),
'lon': sl_data_A,
'lat': sl_data_B,
'x': x,
'num': total-num+1,
'direction': 2
}
stop_data.append(extracted_item_0)
stop_data.append(extracted_item_1)
num += 1
lon_lat_s.append(LineString(lon_lat))
# 将站点数据保存为JSON格式并保存
json_output = json.dumps(stop_data, indent=4)
# 此处可以将stop.json修改成自己的保存路径
with open('stop.json', 'w', encoding='utf-8') as f:
f.write(json_output)
# 若修改了保存路径,则此处需要修改成自己保存文件的路径
stop = pd.read_json(r'stop.json', encoding='utf-8')
stop = stop.sort_values(by=['direction', 'x', 'num'])
# 若修改了保存路径,则此处需要修改为保存的路径
stop.to_json(r'stop.json')
# 保存线路数据
line_data['name'] = names
line_data.set_geometry(lon_lat_s, inplace=True)
# 此处可以将line.shp修改成自己的保存路径
line_data.to_file("line.shp", encoding='utf-8')