python批量爬取小网格区域坐标系_python 通过网格划分的方法进行高德POI爬虫

思路：

代码：

import requests # #http请求模块

import pandas as pd # 数据分析包

# 存储企业分类名称和对应编码

codes = {

'摩托车服务': '040000'

}

# 设置请求资源的URL

url1 = "https://restapi.amap.com/v3/place/polygon?key=f2fca64f70c9b50e5c7e0a3668c01161&types="

url2 = "&extensions=all&page="

url3 = "&polygon="

# 研究区域左上角的经纬度和网格的边长

leftLng = 119.979285

leftLat = 31.987759

widthLng = 0.0063

widthLat = 0.003

def getHTML(url):

try:

r = requests.get(url, timeout=30)

r.raise_for_status() # 状态检查是否成功

r.encoding = r.apparent_encoding # 从内容中分析出的响应内容编码方式

print("Connected1")

return r

except:

print("Wrong1")

return ""

def Getdata():

index = 1

# 循环字典中的值，爬取不同种类的企业

for key, value in codes.items():

x = [["名称", "地址", "经度", "纬度"]]

# 循环爬取每个网格：这里总共分了一万个格网

for j in range(0, 100):

starLng = round(leftLng + j * widthLng, 6)

endLng = round(starLng + widthLng, 6)

for k in range(0, 100):

starLat = round(leftLat - k * widthLat, 6)

endLat = round(starLat - widthLat, 6)

locStr = str(starLng) + "," + str(starLat) + "|" + str(endLng) + "," + str(endLat)

print(locStr)

if not index % 100:

print('爬取进展：第%d个网格' % index)

index += 1

# 判断每一个区域是否返回全部的POI信息，并将返回的信息储存在列表中

for page in range(1, 50): # range函数到49

thisUrl = url1 + value + url2 + str(page) + url3 + locStr # 一个完整的请求链接

if page == 49:

print("可能未爬取全部")

try:

# 获取POI数据

data = getHTML(thisUrl)

# 转为json格式

s = data.json()

# 解析json格式

a = s["pois"]

except:

continue

# 若解析的JSON为空，即当前数据不够50页(即没有达到限制)，返回

if len(a) == 0:

print(page)

break

# 提取需要的属性信息

for i in range(0, len(a)):

d1 = a[i]["name"]

d2 = a[i]["address"]

d3 = a[i]["location"]

d4 = str(d3).split(',')

x.append([d1, d2, d4[0], d4[1]])

# 保存为CSV文件

c = pd.DataFrame(x) # 创建一个二维表

fileName = "D:\\SF\\Test\\result\\" + key + ".csv"

c.to_csv(fileName, encoding='utf-8-sig')

def main():

print('Let ')

Getdata()

main()

结果示例，可用Excel打开