【全量POI】【多线程】高德POI数据爬取工具

已于 2022-02-16 11:02:42 修改
阅读量9.5k 收藏 73
点赞数 23
分类专栏： GIS Java 文章标签： javafx 高德 POI 数据爬取 全量
于 2021-04-21 00:17:54 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_40996400/article/details/115922433
版权
GIS 同时被 2 个专栏收录
18 篇文章 15 订阅
订阅专栏
Java
5 篇文章 0 订阅
订阅专栏

POIKit

POIKit 目的是提供一套简单易用且稳定的 POI 获取与处理工具套件，方便 GIS 相关从业者。目前软件处于初步构建状态，希望各位多多尝试，多多提问题（The More Questions，The Better）。

目录

Preview

preview.png

功能演示

POI 搜索功能

以行政区为例。POI 类型：餐饮服务；行政区：371723；初始网格数：4；阈值：850；线程数目：2；输出格式：csv，POI 搜索功能如下所示：

poi.png

功能配置参数如下表：

参数说明注意
高德 key软件支持多个 key，不同 key 之间需要用逗号分割注意，只能使用英文逗号，且不能包含换行符、空格等
开发者类型个人开发者或个人认证开发者或企业开发者用于设置 QPS 值，当用户设置线程数大于最大线程数，将强制设为最大线程，防止过高并发
POI 关键字搜索关键字，如KFC，不同关键字之间使用逗号分割只能使用英文逗号 分割
POI 类型搜索类型，可为分类代码或汉字，如 010000，不同类型之间使用逗号分割只能使用英文逗号分割，若使用汉字，必须严格按照高德 POI 分类编码中的汉字编写
行政区行政区六位代码-
矩形格式严格遵循左上角经纬度#右下角经纬度，如133,34#135,30经纬度坐标可以使用wgs84/gcj02/bd09 坐标，请使用下拉框选择合适的经纬度坐标
自定义支持用户上传 geojson 边界文件经纬度坐标可以使用wgs84/gcj02/bd09 坐标，类型可以为Polygon或MultiPolygon
初始网格数初始网格剖分数目一般情况按默认值为 4 即可
阈值当该网格 POI 数量超出阈值，会对网格进一步四分一般情况下按 850 即可
线程数目线程数量一般不大于 QPS * keys_num，个人开发者最多设为 20，个人认证开发者最多设为 50，网速较快时也应降低QPS 可以在流量限制说明查看
输出格式目前支持 geojson、shp、csv、txt结果包含 gcj02 和 wgs84 两种坐标，若输出格式为 geojson 或 shp，使用 wgs84 坐标

注意：

  1. 若爬取过程中 key 池额度用尽，软件会停止爬取，但不会删除之前爬取得到的数据，仍会导出。

  2. 若爬取过程中，用户点击取消，软件会停止爬取，不会导出。

输出参数说明：

参数说明
name名称
type兴趣点类型
typecode兴趣点类型编码
address地址
pnamePOI 所在省份名称
cityname城市名
adname区域名称
gcj02_longcj02 经度
gcj02_latgcj02 纬度
wgs84_lonwgs84 经度
wgs84_latwgs84 纬度

地理编码功能

geocoding.png

功能配置参数如下表所示：

参数说明注意
高德 key软件支持多个 key，不同 key 之间需要用逗号分割注意，只能使用英文逗号，且不能包含换行符、空格等
开发者类型个人开发者或个人认证开发者或企业开发者用于设置 QPS 值，当用户设置线程数大于最大线程数，将强制设为最大线程，防止过高并发
线程数目线程数量一般不大于 QPS * keys_numQPS 可以在流量限制说明查看
输入文件支持 csv 或 txt 格式文件至少需要包含address字段
输出目录结果输出路径，目前地理编码结果包括 gcj02 和 wgs84 两种坐标-

注意：

  1. 若地理编码过程中 key 池额度用尽，软件会停止地理编码，但不会删除之前得到的数据，仍会导出。
  2. 若地理编码过程中，用户点击取消，软件会停止地理编码，不会导出。

输出参数说明：

参数说明
formatted_address结构化地址信息
country国家
province地址所在的省份名
city地址所在的省份名
citycode城市编码
district地址所在的区
adcode区域编码
street街道
number门牌
level匹配级别
gcj02_longcj02 经度
gcj02_latgcj02 纬度
wgs84_lonwgs84 经度
wgs84_latwgs84 纬度

格式转换

spatial_data_transform.png

功能配置参数如下表所示：

参数说明
输入文件支持 geojson 或 shp 格式文件
输出格式若选择 geojson，则可以输出 shp，若选择 shp，则可以输出 geojson 或 csv
输出目录结果输出路径

坐标转换

coordinate_transform.png

功能配置参数如下表所示：

参数说明
输入文件支持 geojson 或 shp 格式文件
输入坐标格式即输入文件的坐标格式，wgs84/gcj02/bd09
输出目录结果输出路径
输入坐标格式即输出文件的坐标格式，wgs84/gcj02/bd09

安装

  1. 软件基于 Java 环境运行，需要首先安装 jre/jdk（1.8 版本），安装步骤如下：
    • 下载JDK8，选择适合本系统的版本；
    • 配置环境变量JAVA_HOME为安装目录，然后在Path中添加%JAVA_HOME%\bin；
    • 打开终端，输入java -version，若出现 Java 版本号，则配置成功。
  2. 下载最新发布的软件压缩包，以POIKit.zip为例，解压缩后，双击start.bat即可运行。

技术选型

目前软件采用 MVC 软件架构模式，技术选型如下：

维护人员

@Civitasv

@SkyTreeDelivery

支持该项目

若遇到任何问题，你可以通过以下方式联系我：

  1. 邮箱：sen.hu@whu.edu.cn，我会定时查看邮箱，但不保证实时性；
  2. 用户 QQ 群：1097532420
  3. 提 issue：这是我推荐的方式，有问题时，也应该首先查看 issue 列表是否已有该问题的解答；

若帮助到了您，Github Star 是对我最大的肯定。

开发路线

  • v0.0.1 2021-04-20

    • 初步实现软件及安装文档；

  • v0.0.2 2021-04-22

    • 修复重复 bug；

  • v0.0.3 2021-04-23

    • 线程池运行优化；
    • 添加运行状态提示

  • v0.0.4-alpha 2021-04-23

    • 添加 POI 检索错误码输出；
    • 修改地理编码返回字段;
    • 添加开发者类型选择下拉框，防止过高并发；
    • 解决点击“执行按钮”卡顿 bug;
    • 【重要更新】POI 搜索添加导出 shp 功能

  • v0.0.4 2021-04-26

    • 添加选取坐标类型（gcj02/wgs84）功能
    • 初步完成 geojson 转 shp，shp 转 geojson，shp 转 csv
    • 添加 cpg 格式文件，防止乱码
    • 若干 bug 修复

  • v0.05 2021-04-27

    • 行政区、用户自定义文件爬取得到的 POI 不再是其外接矩形的 POI，即用户不需要再做裁切处理；
    • 完成坐标转换工具开发，进行 wgs84、gcj02 和 bd09 坐标之间的转换，文件格式支持 geojson/shp，其中 geojson 支持 Point、MultiPoint、LineString、MultiLineString、Polygon 和 MultiPolygon，不支持 GeometryCollection；
    • 使用不同的线程控制机制，能够增加线程数目，更加快速的获取 POI；
    • UI bug 修复、cpg 文件生成修复等。

License

GPL 3.0 © Civitasv

Civitasv
关注
  • 23
    点赞
  • 踩
  • 73
    收藏
    觉得还不错? 一键收藏
  • 12
    评论
专栏目录
高德地图POI数据爬取
12-21
本文主要实现根据城市名和分类名爬取对应的POI数据 首先，需要在高德地图开放平台上注册账号，并且申请web服务的AK密钥。注册账号登陆后点击右上角的控制台 ->应用管理 -> 创建应用 -> 添加新key,注意选择web 服务，就得到了一个可以使用web服务的key密钥。一定是Web服务噢。 然后将密钥复制下来，在后面的代码中使用。 具体代码如下。 获取的POI数据包括经纬度、名字、地址、所属行政区等属性。其中transCoordinateSystem.py包含转换坐标的函数，可以根据需要选取不同的函数以获取所需数据。 若运行程序提示缺乏某些库，则添加相应库即可。 #!/usr/bin/en
python抓取高德POI数据，突破数据量限制
05-02
python抓取高德POI数据，突破数据量限制，包含了python脚本程序和相关输入文件
2024 POI爬取工具.zip
04-02
POI数据是我们能够获取到的最有价值的城市数据之一，也是我们最常用的城市数据！ POI（一般作为Point of Interest的缩写，也有Point of Information的说法），通常称作兴趣点，泛指互联网电子地图中的点位数据，比如餐馆、商店、咖啡店、加油站等，一般包含名称、地址、坐标、类别四个属性。 以高德地图POI数据为例，高德地图对POI一共有三级分类（大类、中类、小类），其中一级分类有23个，二级分类有267个，三级分类有869个。其中，一级分类包括餐饮服务、购物服务、生活服务、商务住宅等。 POI数据虽好，但是通常不好获取，一般需要写代码获取，这对于很多人来说非常不友好！本工具基于高德开发平台，进行POI数据获取！
python批量地址爬取（高德地图）
最新发布
qq_41314882的博客
12-21 1797
在地理分析中，通常需要自己获取经纬度数据，当地址只有几个的时候，可以直接在网页输入地址拾取经纬度即可，而当地址数量庞大，比如几十个几百个的时候，肯定是耗费时间的，这时就可以借助python与地图接口来进行经纬度的爬取。当我学到一定基础，有自己的理解能力的时候，会去阅读一些前辈整理的书籍或者手写的笔记资料，这些笔记详细记载了他们对一些技术点的理解，这些理解是比较独到，可以学到不一样的思路。观看全面零基础学习视频，看视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。
城市空间下的POI数据爬取
qq_41985880的博客
06-21 4763
城市空间下的POI数据爬取内容POI数据的简单爬取空间数据坐标纠正Geocoding——地址反查坐标 内容 如何简单爬取POI数据及初步了解坐标纠偏知识 POI数据的简单爬取 什么是POI数据？ POI是“Point of interest” 的缩写，可以翻译成“信息点”，每个POI包含四方面信息：名称、类别、经度纬度等信息。（核心标签：经度、纬度。用来定义空间位置） 常用开放的API数据接口 百度开发者平台、高德开发者平台 针对数据小白有一定壁垒; 数据基础要求 开发者权限的申请 注：开发者平台
AMapPoi:POI搜索工具、地理编码工具
05-10
POIKit POIKit 目的是提供一套简单易用且稳定的 POI 获取与处理工具套件，方便 GIS 相关从业者。目前软件处于初步构建状态，希望各位多多尝试，多多提问题（The More Questions，The Better）。 目录 Preview 功能演示 POI 搜索功能 以行政区为例。POI 类型：餐饮服务；行政区：371723；初始网格数：4；阈值：850；线程数目：2；输出格式：csv，POI 搜索功能如下所示： 功能配置参数如下表： 参数 说明 注意 高德 key 软件支持多个 key，不同 key 之间需要用逗号分割 注意，只能使用英文逗号，且不能包含换行符、空格等 开发者类型 个人开发者或个人认证开发者或企业开发者 用于设置 QPS 值，当用户设置线程数大于最大线程数，将强制设为最大线程，防止过高并发 POI 关键字 搜索关键字，如KFC，不同关键字之间使用逗号分割
爬取poi小程序，可以爬取各类poi
05-15
可以爬取高德地图中的各类poi，无数量限制，首先需要在高德地图中申请key
Polkit (简体中文)
zhaominyong的专栏
06-30 1万+
翻译状态：本文是Polkit的翻译。上次翻译日期：2018-10-21。如果英文版本有所更改，则您可以帮助同步翻译。 来自polkit 主页： polkit 是一个应用程序级别的工具集，通过定义和审核权限规则，实现不同优先级进程间的通讯：控制决策集中在统一的框架之中，决定低优先级进程是否有权访问高优先级进程。 Polkit 在系统层级进行权限控制，提供了一个低优先级进程和高优先级进程进行通讯的系统。和 sudo 等程序不同，Polkit 并没有赋予进程完全的 root 权限，而是通过一个集中的策...
ArcGisPro脚本工具【3】——高德POI爬取
规划GIS会
12-29 6929
本次Arcpy脚本工具用的是ArcGisPro2.8版本，尽量使用同一版本，其它版本可以参照。
添加不进去，及条件poi导出
m0_52537304的博客
01-25 123
在进行首页添加时，首页添加不出来，然后检查网页，是样子的, 这个一般是后端和前端的格式不一致，造成的，大部分都是时间格式不一致，如在后端定义的是（yyyy-MM-dd HH-mm-ss）而在前段传入的是（yyyy-MM-dd HH:mm）,所以前段添加不到后端里去！！！！ 在条件导出时一定要注意po在进行首页展示时，首页显示不出来，然后检查网页，是样子的，格式，不正确这个一般是后端和前端的格式不一致，造成的，大部分都是时间格式不一致，如在后端定义的是（yyyy-MM-dd HH-mm-ss）而在前段传入的
高德API按分类爬取POI，源自 人如墨
10-25
高德API按分类爬取POI，源自 人如墨，内容得自己改，亲测有用
poi数据爬取工具
08-31
资源类型比较丰富，能够获取到中国大陆各种类型的POI数据
2021年长沙市全量POI数据.xls
11-05
2021年长沙市全量POI数据，高德坐标系
2021年合肥市全量POI数据.xls
11-04
2021年合肥市全量POI数据，高德坐标系
核密度估计（KDE）原理及实现
热门推荐
Civitasv
12-30 6万+
统计学中，核密度估计，即Kernel Density Estimation，用以基于有限的样本推断总体数据的分布，本文对核密度估计的原理进行探讨，在此基础上进行实现
ArcGIS 线简化算法的使用及两种方法的比较
Civitasv
03-05 6881
POINT_REMOVE算法更适用于对制图质量的要求不高的时候，它生成的线可能含有不必要的尖角和尖锋，速度较快。而BEND_SIMPLIFY算法生成的简化线与原始线的大体形状十分接近，制图质量也高于点移除算法，速度较慢，实际应用时，可以根据两种方法的特点进行合理选择
visual studio+GDAL详细配置
Civitasv
04-15 3517
1. 下载GDAL安装包：安装包下载，解压后内部应该有如下文件（2.2.1版本）。 2. 使用记事本打开文件nmake.opt，修改第48行MSVC_VER的值，值与vs版本对应如下： vs版本 2017 2015 2013 2012 2010 2008 2005 2003 2002 MSVC_VER 1910 ...
高德地图api poi爬取
10-18
高德地图API是一款基于地图的互联网应用程序接口，提供了包括地图、搜索、导航、定高德地图API是一款基于地图的互联网应用程序接口，提供了包括地图、搜索、导航、定位等多种服务。其中，POI（Point of Interest）是指兴趣点，例如商店、餐厅、公园等等。高德地图API提供了POI搜索服务，可以通过关键字、分类、城市等条件进行搜索，并返回相应的POI信息。通过调用高德地图API的POI搜索服务，可以实现POI的爬取。具体实现方法可以参考您提供的代码，其中包括获取网页数据方法和获取adcode方法。需要注意的是，高德地图API有请求次数限制，需要申请key并进行授权才能使用。另外，爬取POI信息时需要注意遵守相关法律法规，不得用于商业用途和侵犯他人隐私等行为。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 12
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值