Python批量爬取高德AOI边界数据+GIS可视化（超详细）

一、需求

      爬取高德地图的AOI区域（如下）并进行可视化存储，且保留AOI的属性信息。

      

二、使用的工具：

       Python IDLE、记事本编辑器、ArcGIS 10.2、申请的高德开发者KEY（免费）。

三、实现分析及思路

      博主在浏览博客时得到了一个链接，能够根据aoi编号检索aoi信息：

https://ditu.amap.com/detail/get/detail?id=XXXX
感谢“万里写入胸怀间”大神的博客：https://blog.csdn.net/qq_37696858/article/details/81351725

     该链接能够返回丰富的AOI信息：

       

      AOI编号有两种途径获得：

    （1）使用API检索POI时，返回的POI编号（经验证，AOI编号与POI编号是一致的）如下图。

       

    （2）使用高德地图web版进行地点搜索时，点击单个POI，从当前网页的Url中提取，如下图。

            

     第二种方式最为简单便捷，但是无法实现批量的AOI提取，因此本文采用第一种方式进行AOI爬取。使用该方式会带来一些问题，例如，有些POI是不存在AOI区域的，比如厕所、大门等一些附属设施POI，但是AOI链接仍然会检索出信息来，只是不含有图形信息罢了，因此对是否含有AOI信息进行判断也十分重要。

四、编写代码：

import requests
import pandas as pd
import json
import time

#检索POI的URL
poiUrl="https://restapi.amap.com/v3/place/text?keywords=大学&city=青岛&output=JSON&offset=20&key={你的Key，不含大括号}&extensions=all&page="
#检索AOI的URL
aoiUrl="https://ditu.amap.com/detail/get/detail?id="
#用于储存POI数据
x=[]
#用于储存AOI数据
y=[]
#计数
num=0
#逐页POI检索，注意API限制
for page in range(1,7):
    #构造URL
    thisUrl1=poiUrl+str(page)
    #获取POI数据
    data1=requests.get(thisUrl1)
    #转为JSON格式
    s=data1.json()
    #解析JSON
    aa=s["pois"]
    #对每条POI进行读取
    for k in range(0,len(aa)):
        poiid=str(aa[k]["id"])
        #构造AOI的URL
        thisUrl2=aoiUrl+poiid
        #获取AOI数据
        data2=requests.get(thisUrl2)
        #转为JSON格式
        ss=data2.json()
        #解析JSON
        aaa=ss["data"]
        key=aaa["spec"]
        
        #判断AOI检索是否包含形状信息
        haveShp=0
        for item in key:
            if item=="mining_shape":  #有形状信息
                haveShp=1
        if haveShp==0:
            continue #若无则跳出本条POI检索
        #获取POI信息并存储
        pois1=aa[k]["name"]
        pois2=aa[k]["type"]
        pois3=aa[k]["address"]
        pois4=aa[k]["adname"]
        pois5=aa[k]["location"].split(",")
        x.append([poiid,pois1,pois2,pois3,pois4,float(pois5[0]),float(pois5[1])])

        #获取AOI信息并存储
        aoilocs=str(key["mining_shape"]["shape"])
        locs=aoilocs.split(';')
        order=0
        for i in range(0,len(locs)):
            loc=locs[i].split(',')
            lon=loc[0]
            lat=loc[1]
            y.append([poiid,pois1,pois2,pois3,pois4,order,lon,lat])
            order+=1
        num+=1
        print("爬取了 "+str(num)+" AOI数据")
        time.sleep(random.randint(0,5))  # 暂停0~3秒的整数秒，时间区间：[0,5]
#将数据结构化存储至规定目录的CSV文件中
c1 = pd.DataFrame(x)
c1.to_csv('E:/poi.csv',encoding='utf-8-sig')
c2 = pd.DataFrame(y)
c2.to_csv('E:/aoi.csv',encoding='utf-8-sig')

  注意：

    （1）aoi信息获取链接官方并没有完全开放，需谨慎使用，因此博主在代码里增加了较长的暂停时间，但可能仍然无法有效避免封IP的情况，需小心谨慎使用。

    （2）注意POI的检索是有限制的，可参考博主的另一篇博文：Python突破高德API限制完全爬取POI兴趣点数据

    （2）最终爬取下来的坐标是GCJ-02坐标系，若要对数据进行应用，需转换为WGS84坐标系，本文省略了该步骤。

  运行结果：

      即可在目标目录看到生成了两个文件poi.csv和aoi.csv，将它们的首行数据删除，如下：

      

      

五、数据可视化

       1、打开Arcmap，将生成的poi.csv和aoi.csv加入：

       

      2、对poi表右键，显示XY数据，并进行下图设置点击确定，并对aoi表也进行相似的操作如下图。

            

      3、之后可以看到生成了一堆poi和aoi点：

       

      4、之后对生成的两个要素点击右键，数据→导出数据，设置相关路径，保存为shp文件，如下图：

        

            

    5、打开ArcToolbox，找到数据管理工具→要素→点集转线，打开点集转线工具，将aoi点数据输入并进行以下设置：

    

    点击确定，发现AOI边界已见雏形：

       

   

     6、接下来将边界线转换为面文件，打开ArcToolbox，找到数据管理工具→要素→要素转面，打开要素转面工具，将aoi线数据输入并进行以下设置：

      

      点击确定，即可发现AOI区域已经生成。

      

      7、打开生成的面要素的属性表，发现属性信息已完全消失。接下来是使用上面生成的POI数据进行属性信息的找回，右键AOI面要素，点击连接和关联→连接，并进行如下设置：

        

          

      8、点击确定，在生成的要素中打开属性表，可以发现属性信息已找回：

     

    关于GIS可视化的步骤，博主觉得还是有些繁琐，如果大神们有更简单的方法欢迎交流~