python爬取高德poi数据_python3爬虫-高德地图POI数据的爬取

前言

目的：本文试图爬取全北京市不同类别POI的所有数据。

大致流程：爬取北京市边界坐标

坐标映射到网格，得到北京市的边界网格

广度优先遍历，将整个北京市网格化

对每一个网格进行poi获取，当获取的数量过多时，对网格再次划分，递归查询

第一步，爬取北京市边界坐标

这里可以利用api来爬取，但为了方便，可以直接用高德地图的示例操作

1.2 更改参数并运行

1.3 在示例下的"districts"-->"0"-->"polyline"；得到边界坐标值，复制保存到本地 border.csv，可以在mapinfo下可视化。需要说明的是，爬取的边界有一个缺口，我将缺口的最近两个点途径的三个位置添加了上去。在border.csv中添加的三行数据如下：

115.805,40.415

115.815,40.405

115.825,40.395

第二步，映射边界网格，北京市网格化

2.1 首先需要设置几个参数

网格大小：0.1 * 0.1 ，这里直接将经纬度的0.1作为网格大小,这意味着网格精确度为0.1

北京市左下角和右上角坐标 : (115.42,39.44)(117.52,41.07)

jmin = 115.42

jmax = 117.52

wmin = 39.44