【0基础用python爬取高德POI数据】

已于 2024-01-05 11:37:00 修改
阅读量6.9k 收藏 181
点赞数 60
分类专栏： 方便使用的小工具 文章标签： python
于 2023-08-01 16:39:19 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/cxz_0030115/article/details/132041322
版权

用python爬取高德POI数据，真0基础

0基础用python爬取高德POI数据

真真python都没有的，先看这篇

先看这个【00基础】配置好python环境

0、说在最前面

POI数据真的使用非常广泛了。但是对于大多人普通而言，哪怕现在有了chatGPT这种高级助理，也不知道怎么入手提问，或者问了，对着操作都会有一堆问题。作为一个代码小白，折腾了一大圈，并且指导了另一位真0基础的同事达成随心获取高德POI数据，分享给需要的人。

回答疑问

不知道流程：从0开始给你写清楚步骤
不会写python，给你原代码，会复制粘贴就行。
教你使用和修改参数，以便于真的多次使用。

大致流程

注册高德，获取接口代码
下载annaconda,准备好Python运行环境
复制代码（我会直接贴出来）
代码使用方式

1、注册高德，获取接口key

1.1 注册高德开放平台

高德开放平台：高德开放平台
高德开放平台网页
点击注册，按照引导注册账号，注册成功后登录。注册页面

1.2 获得key

点击控制台 —> 应用管理—> 我的应用

我的应用
点击创建新应用
创建新应用
在这里插入图片描述
添加key
创建key

key
红色框里这一串，就是高德接口的key码，后面代码里会用到。你也可以多建几个换着用。

已经有很多现成的爬取数据的小软件了，需要输入key的，到这一步就可以啦。（有一些连key都不要你输入的，简单统计统计还行，但是可能有数据不准确以及数据较老的问题。）

2、准备好Python运行环境

这个是比较容易遇到的问题，代码随处都有，chatGPT也能给你写一个，但是，不知道哪里入手使用。以及其他的代码，也是不知道怎么操作，可以参考这一步，给真0基础，像一样不知道python是什么的那种0基础。

不要纠结python是什么以及有什么语法这些，会用就行了。

2.1 安装Anaconda

推荐小白直接使用Anaconda。因为使用GIS的会有python2.7版本困扰，现在代码基本都是3.x的，代码和工具包搞起来都太烦了，直接使用完整的环境包更方便。

下载（免费的！）：Anaconda
在这里插入图片描述
anaconda页面
等待下载，可能时间会有点久，且等着。
等待下载
下载完后安装（安装不贴了）。
安装完后，就有一堆东西了，后面会用到。
在这里插入图片描述

3、代码使用说明

3.1 代码说明

其实没什么好说明的，我代码直接给你，你会复制粘贴就行。告诉你改哪里。

我知道很多分享代码的人都设置了信息壁垒，比如把爬数据的代码和坐标转换的代码换文件名啥的。为了解决这个问题，我直接把坐标转换嵌入到了代码里，不存在需要两个文件需在同一文件里这些限制。
一个代码就能用。成果坐标已转换为WGS-84

贴上代码

# -*- coding: utf-8 -*-
"""
@author: Joy_cxz
CSDN:https://blog.csdn.net/cxz_0030115?spm=1010.2135.3001.5421
"""
import requests
import json
import xlwt
import math

# 改：TODO
amap_web_key = 'key1'  # 高德地图官网申请的Web API KEY
filename = r'C:/Desktop/test.xls'   # 爬取到的数据写入的EXCEL路径

# 改：多边形边界集合：
polygon_list = ['112.511844,30.7|112.5227,30.6']

# 改：POI分类集合, 多个类型用竖线 | 分割；
type_list = '140000'  # |060402|060403|060404|060405|060406|060407|060408|060409|060411|060413|060414|060415|060100|060101|060102|060103'


#=========================下面不用改=====================================

poi_search_url = "http://restapi.amap.com/v3/place/polygon"  # URL
offset = 25  # 分页请求数据时的单页大小
def gcj02_to_wgs84(lon, lat):
    a = 6378245.0
    ee = 0.00669342162296594323
    pi = 3.14159265358979324

    def transform_lon(x, y):
        ret = 300.0 + x + 2.0 * y + 0.1 * x * x + 0.1 * x * y + 0.1 * \
              y * y + (0.1 * x * x * x) + \
              (0.2 * x * x * y) + (0.1 * x * y * y) + \
              (0.1 * y * y * y) + (0.1 * x * x * x * x) + \
              (0.2 * x * x * x * y) + (0.2 * x * x * y * y) + \
              (0.1 * x * y * y * y)
        return ret

    def transform_lat(x, y):
        ret = -100.0 + 2.0 * x + 3.0 * y + 0.2 * y * \
              y + 0.1 * x * y + 0.2 * \
              x * x + (0.1 * x * x * x) + \
              (0.1 * x * y * y) + (0.1 * x * x * y)
        return ret

    def transform(x, y):
        d_lat = transform_lat(x - 105.0, y - 35.0)
        d_lon = transform_lon(x - 105.0, y - 35.0)
        rad_lat = y / 180.0 * pi
        magic = math.sin(rad_lat)
        magic = 1 - ee * magic * magic
        sqrt_magic = math.sqrt(magic)
        d_lat = (d_lat * 180.0) / ((a * (1 - ee)) / (magic * sqrt_magic) * pi)
        d_lon = (d_lon * 180.0) / (a / sqrt_magic * math.cos(rad_lat) * pi)
        mg_lat = y + d_lat
        mg_lon = x + d_lon
        return [x * 2 - mg_lon, y * 2 - mg_lat]

    return transform(lon, lat)


# 根据矩形坐标获取poi数据
def getpois(polygon, type_list):
    i = 1
    current_polygon_poi_list = []
    while True:  # 使用while循环不断分页获取数据
        result = getpoi_page(polygon, i, type_list)
        result = json.loads(result)  # 将字符串转换为json

        if result['status'] != '1':  # 接口返回的状态不是1代表异常
            print('======爬取错误，返回数据：' + result)
            break
        pois = result['pois']
        if len(pois) < offset:  # 返回的数据不足分页页大小，代表数据爬取完
            current_polygon_poi_list.extend(pois)
            break
        current_polygon_poi_list.extend(pois)
        i += 1
    print('===========当前polygon：', polygon, ',爬取到的数据数量：', str(len(current_polygon_poi_list)))

    return current_polygon_poi_list


# 单页获取pois
def getpoi_page(polygon, page, type_list):
    print(polygon)
    req_url = poi_search_url + "?key=" + amap_web_key + '&extensions=all&polygon=' + polygon + '&offset=' + str(
        offset) + '&types=' + type_list + '&page=' + str(page) + '&output=json'
    data = ''
    with requests.get(req_url) as response:
        data = response.text
        print(data)
    return data


# 数据写入excel
def write_to_excel(poilist, filename):
    # 一个Workbook对象，这就相当于创建了一个Excel文件
    book = xlwt.Workbook(encoding='utf-8', style_compression=0)
    sheet = book.add_sheet('0', cell_overwrite_ok=True)
    # 第一行(列标题)

    sheet.write(0, 0, 'id')
    sheet.write(0, 1, 'name')
    sheet.write(0, 2, 'lon')
    sheet.write(0, 3, 'lat')
    sheet.write(0, 4, 'address')
    sheet.write(0, 5, 'pname')
    sheet.write(0, 6, 'cityname')
    sheet.write(0, 7, 'adname')
    sheet.write(0, 8, 'type')
    for i in range(len(poilist)):
        sheet.write(i + 1, 0, poilist[i]['id'])
        sheet.write(i + 1, 1, poilist[i]['name'])
        lon = float(str(poilist[i]['location']).split(",")[0])
        lat = float(str(poilist[i]['location']).split(",")[1])

        # 将高德坐标转换为WGS 84坐标
        lon, lat = gcj02_to_wgs84(lon, lat)

        sheet.write(i + 1, 2, lon)
        sheet.write(i + 1, 3, lat)
        sheet.write(i + 1, 4, poilist[i].get('address'))
        sheet.write(i + 1, 5, poilist[i].get('pname'))
        sheet.write(i + 1, 6, poilist[i].get('cityname'))
        sheet.write(i + 1, 7, poilist[i].get('adname'))
        sheet.write(i + 1, 8, poilist[i]['type'])

    book.save(filename)


print('开始爬取...')
all_poi_list = []  # 爬取到的所有数据

for polygon in polygon_list:
    polygon_poi_list = getpois(polygon, type_list)
    all_poi_list.extend(polygon_poi_list)

print('爬取完成，总的数量：', len(all_poi_list))

write_to_excel(all_poi_list, filename)

print('写入成功')

3.2 代码使用

3.2.1 补充准备（装载需要的包）

代码会用到一些扩展包，你不知道有没有，就挨个装一遍。
打开这个：
在这里插入图片描述
在这里插入图片描述

输入

conda install requests
conda install json
conda install xlwt
conda install math

等待，可能会有点久，跑完你会知道的。
等待安装
跑完会重新出现这样的，就像你最开始打开一样。
在这里插入图片描述

3.2.2 打开运行软件

打开这个软件：
在这里插入图片描述
点这里新建一个文件，然后把代码复制进去，保存为高德POI获取_WGS84.py
在这里插入图片描述
在这里插入图片描述

3.2.3 修改参数
修改key和文件路径

一共有4个需要修改的地方，前两个简单。
在这里插入图片描述

获取范围坐标

获取边界坐标，最简单的方式，矩形。左上右下点。
高德POI坐标获取
在这里插入图片描述
在这里插入图片描述
获取你要的范围左上角和右下角的点位，复制黏贴修改到代码中，注意符号。
在这里插入图片描述

获取POI分类代码

高德提供的代码表，选择自己想要的类别，注意大小类的代码有一定规律。
六位代码：大类+种类+小类
高德编码：Web服务 API 相关下载
在这里插入图片描述
在这里插入图片描述

3.2.5 运行

你都改好了是吧，点这个
在这里插入图片描述
运行时红框内会看到信息，运行完会跟你说写入成功
在这里插入图片描述
你会获得一个后缀为.xls的表格
打开后是这样：
在这里插入图片描述

Joy_cxz
关注
  • 60
    点赞
  • 踩
  • 181
    收藏
    觉得还不错? 一键收藏
  • 35
    评论
专栏目录
基于高德开放平台公交数据爬取与处理——重庆公交数据
12-08
应网友私信需要，上传基于高德开放平台爬取的重庆地区公交站点与路线数据。数据包含站点、路线的.csv数据，以及相应的.shp数据。
python抓取高德POI数据，突破数据量限制
05-02
python抓取高德POI数据，突破数据量限制，包含了python脚本程序和相关输入文件
高德地图POI数据爬取
12-21
本文主要实现根据城市名和分类名爬取对应的POI数据 首先，需要在高德地图开放平台上注册账号，并且申请web服务的AK密钥。注册账号登陆后点击右上角的控制台 ->应用管理 -> 创建应用 -> 添加新key,注意选择web 服务，就得到了一个可以使用web服务的key密钥。一定是Web服务噢。 然后将密钥复制下来，在后面的代码中使用。 具体代码如下。 获取的POI数据包括经纬度、名字、地址、所属行政区等属性。其中transCoordinateSystem.py包含转换坐标的函数，可以根据需要选取不同的函数以获取所需数据。 若运行程序提示缺乏某些库，则添加相应库即可。 #!/usr/bin/en
空间数据分析入门POI与莫兰指数基础知识笔记
最新发布
肖永威的专栏
01-30 1789
空间数据分析可以使用更为专业的莫兰指数，入门POI与莫兰指数基础知识笔记。
Python之爬取百度地图兴趣点（POI）数据
qq_38230663的博客
06-05 1万+
关于爬虫系列，前三篇文章分别讲了三个简单案例，分别爬取了《你好，李焕英》电影豆瓣热门短评、58同城在售楼盘房源信息以及安居客网二手房小区详情页数据，这篇文章主要谈一谈如果用Python调查百度地图API接口，获取百度地图上的兴趣点（Point of interest）。 ...
高德地图爬虫
123的博客
02-27 1万+
高德地图爬虫 工具：Pycharm,win10,Python3.6.4 1.需求分析 这篇爬虫和上一篇百度地图爬虫要求一样，百度地图爬虫我发现有一个auth参数会一直变化，一旦变化则获取的数据是不准确的，所以我上高德地图看了一下，高德地图没有这个反爬机制。但是高德地图大概爬取120个页面就会跳一次验证码，我这里是通过换IP解决这个问题的。 2.数据准备 同样我们需要全国地级市信息，用之前...
python批量地址爬取（高德地图）
qq_41314882的博客
12-21 1808
在地理分析中，通常需要自己获取经纬度数据，当地址只有几个的时候，可以直接在网页输入地址拾取经纬度即可，而当地址数量庞大，比如几十个几百个的时候，肯定是耗费时间的，这时就可以借助python与地图接口来进行经纬度的爬取。当我学到一定基础，有自己的理解能力的时候，会去阅读一些前辈整理的书籍或者手写的笔记资料，这些笔记详细记载了他们对一些技术点的理解，这些理解是比较独到，可以学到不一样的思路。观看全面零基础学习视频，看视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。
ArcGisPro脚本工具【3】——高德POI爬取
规划GIS会
12-29 6942
本次Arcpy脚本工具用的是ArcGisPro2.8版本，尽量使用同一版本，其它版本可以参照。
【数据技术】利用Python获取高德地图POI数据——以上海瑞幸门店为例
chenxu0136的博客
08-15 1万+
本文讲述利用Python获取高德地图POI数据的思路以及具体步骤。
爬虫入门经典(五) | 简单一文教你如何爬取高德地图
热门推荐
不温卜火
10-22 11万+
  大家好，我是不温卜火，是一名计算机学院大数据专业大三的学生，昵称来源于成语—不温不火，本意是希望自己性情温和。作为一名互联网行业的小白，博主写博客一方面是为了记录自己的学习过程，另一方面是总结自己所犯的错误希望能够帮助到很多和自己一样处于起步阶段的萌新。但由于水平有限，博客中难免会有一些错误出现，有纰漏之处恳请各位大佬不吝赐教！暂时只在csdn这一个平台进行更新，博客主页：https://buwenbuhuo.blog.csdn.net/。 PS：由于现在越来越多的人未经本人同意直接爬取博主本人.
Python获取高德POI(关键词搜索法)
abcbbbd的博客
03-22 1万+
胎教级爬取poi教程！ 尝试用通俗易懂的话来谈谈高德poi爬取这件事儿
高德POI数据采集笔记
机器学习菜鸟
04-20 2397
高德POI数据采集
python爬取高德地图.zip
07-05
Python爬取高德地图查询各城市天气。爬虫练习项目之一。从高德地图json数据接口获取天气,exe文件
爬取高德地图poi数据的python脚本
03-08
需要自己注册高德api的key，在脚本中加入，就可按照需要爬取所需poi数据
python调用高德地图获取POI信息
03-20
通过python调用高德地图的接口，获取经纬度对应的地址信息和POi信息，需要的来下载吧，绝对可用，并且十分的准确。通过python调用高德地图的接口，获取经纬度对应的地址信息和POi信息，需要的来下载吧，绝对可用，...
爬虫爬取高德地图POI数据
04-23
python代码，爬虫爬取高德地图POI数据，先注册高德个人账户，获取所需要的key，替代代码中的key，然后更改省市，更改想要的数据类型，python运行即可得到xlse数据
python爬取poi城市版_python爬虫_poi爬取软件_POI_地图爬虫_python
09-11
baidu地图poi爬虫软件，输入城市/地区名称，和想要查询的业态，即可爬取。
高德API按分类爬取POI，源自 人如墨
10-25
高德API按分类爬取POI，源自 人如墨，内容得自己改，亲测有用
ARCGIS实用工具箱——地图兴趣点POI爬取
05-19
1、在ArcMAP目录中找到该工具箱所保存的位置并展开，选择高德POI双击打开。 2、在打开的工具界面填写输入参数。通过显示帮助，可以查看每个参数如何填写。填写完成后点击确定运行。参数说明如下： 范围图层（必填）...
python爬取高德poi数据
11-11
以下是使用Python爬取高德POI数据的步骤： 1. 导入必要的库，如requests、pandas等。 2. 构造请求URL，包括高德开放平台的API Key、城市名称、POI类型、每页记录数、当前页数等参数。 3. 发送HTTP请求，获取响应数据。 4. 解析响应数据，提取需要的POI信息。 5. 将POI信息存储到本地文件或数据库中。 下面是一个简单的示例代码，用于爬取北京市某一类POI的数据并保存到CSV文件中： ```python import requests import pandas as pd # 构造请求URL url = 'https://restapi.amap.com/v3/place/text' params = { 'key': 'your_api_key', 'keywords': '酒店', 'city': '北京', 'offset': 20, 'page': 1, 'output': 'JSON' } # 发送HTTP请求 response = requests.get(url, params=params) data = response.json() # 解析响应数据 pois = data['pois'] df = pd.DataFrame(pois) df = df[['name', 'location', 'address', 'tel']] # 存储到CSV文件中 df.to_csv('hotels.csv', index=False) # 去重 df = df.drop_duplicates(subset='唯一ID', keep='last') # 写入文件 with open('hotels.txt', 'w', encoding='utf-8') as fnew: for r in df.values: count = len(r[2]) fnew.write(str(r[0])+','+str(r[1])+'|'+str(r[2])+','+str(r[3])+'\t'+str(count)+'\n') ```

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 35
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值