Python突破API限制爬取交通态势数据+GIS可视化（超详细）

置顶 ZYH@Smart3S

已于 2024-06-13 15:57:08 修改

阅读量9.1k

点赞数 19

分类专栏： Python 文章标签： Python ArcGIS 交通信息爬取路况

于 2019-10-31 18:01:42 首次发布

本文链接：https://blog.csdn.net/smart3s/article/details/83010397

版权

Python 专栏收录该内容

14 篇文章

订阅专栏

一、需求：

爬取交通态势API，将数据可视化为含有交通态势信息的矢量路网数据。

二、使用的工具：

Python IDLE、记事本编辑器、ArcGIS 10.2、申请的开发者KEY（免费）。

三、主要思路：

本文的思路是使用Python的requests模块爬取API的返回信息，将返回的信息数据（JSON），通过代码解析的方式存入CSV文件中，再导入ArcGIS中进行可视化处理。

四、分析阶段：

根据提供的交通态势信息API文档，注意到提供了两种获取交通态势信息的方式，一种是通过设定矩形区域（传入左下角以及右上角坐标）的方式，一种是通过设定圆形区域的方式（设定圆心坐标和半径），本文使用的是设定矩形区域的方式。但是问题来了，平台对用户的API行为进行了限制，要求设定的矩形区域的对角线长度不超过10公里，但这是难不倒程序猿的，可以使用网格的思想来突破这一限制，如下图：

即将爬取区域分成多个网格，每个网格在平台规定的10公里范围之内即可，这样虽然增加了API的调用次数，但不得不说是较为合适的解决方案，本思想同样也适用于POI信息的爬取，在本文中笔者使用了简单的for循环来实现网格爬取，当然读者也可以参考：

百度地图POI数据爬取，突破百度地图API爬取数目“400条“的限制

这篇博文中的LocaDiv类来实现更为复杂化的网格爬取方式。

五、编写代码：

由于本文的爬虫程序比较简单，因此笔者为了方便直接使用Python自带的IDLE进行程序编写，代码如下：

import requests
import pandas as pd
import json
import time

#初始API的URL
url="https://restapi.amap.com/v3/traffic/status/rectangle?key=申请的key&extensions=all&rectangle="

#设定整个网格左下角坐标的经纬度值
baselng=116.927748
baselat=36.62361
#设定每个网格单元的经纬度宽
widthlng=0.05
widthlat=0.04
#用于储存数据
x=[]
#用于标识交通态势线段
num=0

#爬取过程可能会出错中断，因此增加异常处理
try:
    #循环每个网格进行数据爬取，在这里构建了3X3网格
    for i in range(0,3):
        #设定网格单元的左下与右上坐标的纬度值
        #在这里对数据进行处理，使之保留6位小数（不保留可能会莫名其妙出错）
        startlat=round(baselat+i*widthlat,6)
        endlat=round(startlat+widthlat,6)
        for j in range(0,3):
            #设定网格单元的左下与右上坐标的经度值
            startlng=round(baselng+j*widthlng,6)
            endlng=round(startlng+widthlng,6)
            #设置API的URL并进行输出测试
            locStr=str(startlng)+","+str(startlat)+";"+str(endlng)+","+str(endlat)
            thisUrl=url+locStr
            print(thisUrl)
            #爬取数据
            data=requests.get(thisUrl)
            s=data.json()
            a=s["trafficinfo"]["roads"]
            #注意，提取数值需要使用XXX.get()的方式来实现，如a[k].get('speed')
            #若使用a[k]['speed']来提取，或会导致KeyError错误
            for k in range(0,len(a)):
                s2=a[k]["polyline"]
                s3=s2.split(";")
                for l in range(0,len(s3)):
                    s4=s3[l].split(",")
                    x.append([a[k].get('name'),a[k].get('status'),a[k].get('speed'),num,float(s4[0]),float(s4[1])])
                num=num+1
            #若爬取网格较多，可使用time.sleep(秒数)来避免平台的单秒API调用次数的限制
except Exception  as e:
    pass

#将数据结构化存储至规定目录的CSV文件中
c = pd.DataFrame(x)
c.to_csv('E:/BigRoads.csv',encoding='utf-8-sig')#感谢网友weixin_43475766的提醒