获取高德POI兴趣点的详细信息

最新推荐文章于 2023-11-17 17:27:08 发布
最新推荐文章于 2023-11-17 17:27:08 发布
阅读量2.8k 收藏 18
点赞数 3
分类专栏： python 学习 文章标签： python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_40745994/article/details/124284804
版权

获取高德POI兴趣点的详细信息


思路介绍：

获取高德POI兴趣点主要分为两部分，一，爬取高德地图的想要搜索的兴趣点的数据，比如获取某市的所有桥梁信息，此时获得所有的市区范围内的桥梁信息，二，再用此获得的目录去百度百科爬取词条详细的数据。

一，获取高德地图POI数据

在搜索POI开发文档中可以查看到获取数据信息的方式。

第一步，申请”Web服务API”密钥（Key）；

首先找到高德开放平台高德开放平台提供的API接口，这里提供了高德开放的可以适用于各种客户端的获取POI的方式。
找到应用管理 添加一个key， 这个key后面用于发送请求使用。
在这里插入图片描述

第二步，拼接HTTP请求URL，第一步申请的Key需作为必填参数一同发送；

发送请求的网址：
https://restapi.amap.com/v3/place/text?keywords=输入的关键字&city=beijing&output=xml&offset=20&page=1&key=<用户的key>&extensions=all
keywords和type可以指定哪一个市区或者什么类型的POI。
在文档中可以获取到不同市区和建筑物种类的代码
在这里插入图片描述

拼接url的代码如下，

# 各下级行政区的代码，不要选择市区的代码，否则会出现问题
arr = [
    '540102', '540103', '540104', '540121', '540122', '540123', '540124', '540127',
    '540202', '540221', '540222', '540223', '540224', '540225', '540226', '540227', '540228', '540229', '540230',
    '540231', '540232', '540233', '540234', '540235', '540236', '540237',
    '540302', '540321', '540322', '540323', '540324', '540325', '540326', '540327', '540328', '540329', '540330',
    '540402', '540421', '540422', '540423', '540424', '540425', '540426',
    '540502', '540521', '540522', '540523', '540524', '540525', '540526', '540527', '540528', '540529', '540530',
    '540531',
    '540602', '540621', '540622', '540623', '540624', '540625', '540626', '540627', '540628', '540629', '540630',
    '542521', '542522', '542523', '542524', '542525', '542526', '542527'
]
# API的URL，在这里进行了结构化处理
url1 = "https://restapi.amap.com/v3/place/text?keywords=桥&types=190307&city="
url2 = "&output=JSON&offset=20&key=4f981956ab23875a4636f9418832e54f&extensions=all&page="

# 用于储存数据
x = []
# 用于计数
num = 0
# 190307	地名地址信息	交通地名	桥

第三步，接收HTTP请求返回的数据（JSON或XML格式），解析数据。

官方对返回的POI数据的数量进行了限制，只能最多获取900条。所以逻辑加了一个判断。

# 循环各下级行政区进行POI检索
for i in range(0, len(arr)):
    # 当前行政区
    city = arr[i]
    # 因为官方对API检索进行了45页限制，所以只要检索到45页即可
    for page in range(1, 46):
        # 若该下级行政区的POI数量达到了限制，则警告使用者，之后考虑进行POI类型切分
        if page == 45:
            print("警告！！POI检索可能受到限制！！")
        # 构造URL
        thisUrl = url1 + city + url2 + str(page)
        # 获取POI数据
        data = requests.get(thisUrl)
        sleep(1)
        # 转为JSON格式
        s = data.json()
        # 解析JSON
        aa = s["pois"]
        # 若解析的JSON为空，即当前行政区的数据不够45页（即没有达到限制），返回
        if len(aa) == 0:
            break
        # 对每条POI进行存储
        for k in range(0, len(aa)):
            s1 = aa[k]["name"]
            s2 = aa[k]["type"]
            s3 = aa[k]["adname"]
            x.append([s1, s2, s3])
            num += 1
            print("爬取了 " + str(num) + " 条数据")

# 将数据结构化存储至规定目录的xls文件中
c = pd.DataFrame(x)
c.to_csv('./getEXCELS/西藏桥梁汇总.xls', encoding='utf-8-sig')

二，将获取到的所有POI数据作为目录爬取详细信息

第一步，读取Excel文件中的数据

在这里用的是xlrd插件，将获取到的数据作为一个列表进行返回。

import xlrd
# 从Excel中获取名字，组装URL
def getBridgeNames():
	# 打开一个excel
    book = xlrd.open_workbook("getEXCELS/西藏桥梁汇总.xls")
    # 打开excel中的哪一个sheet页
    sheet = book.sheet_by_index(0)
    # 获取名字的一列数据
    bridge_names = sheet.col_values(1)
    return bridge_names

第二步，封装请求头信息

随机在列表中拿取一个请求头

import random
user_agents = ['Mozilla/5.0 (Windows NT 6.1; rv:2.0.1) Gecko/20100101 Firefox/4.0.1',
               'Mozilla/5.0 (Windows; U; Windows NT 6.1; en-us) AppleWebKit/534.50 (KHTML, like Gecko) Version/5.1 Safari/534.50',
               'Opera/9.80 (Windows NT 6.1; U; en) Presto/2.8.131 Version/11.11',
               'Mozilla/5.0 (Windows; U; Windows NT 6.0; en-US) AppleWebKit/525.19 (KHTML, like Gecko) Chrome/1.0.154.50 Safari/525.19',
               'Mozilla/5.0 (Windows; U; Windows NT 6.0; de) AppleWebKit/525.13 (KHTML, like Gecko) Chrome/0.2.149.27 Safari/525.13']
def get_header():
    header = {'User-Agent': random.choice(user_agents)}
    return header

第三部，发送请求获取详细信息

这里存在一个问题：（暂未解决）
百度百科上对于不同的关键字，搜索到的词条的格式可能不同，比如搜索柳梧大桥和搜索拉萨大桥的词条的格式会存在不同再或者就是遇见百度百科没有资料的关键字。
而在获取页面的时候没有办法统一格式导致的有些信息无法取到，比如图片中的 有的属性叫桥长，但是在另一个里面属性为长度。
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述
解析词条的代码如下，最终以一个列表返回所有的数据。

def getInfo(url, bridge_name):
    # 获取代理ip
    # proxies = ipGetter.ipGet()
    # 拿到网页text数据
    html_text = requests.get(url, headers=getHeaders.get_header()).text
    # print(html_text)
    # 加载进内存用来解析网页html数据
    html_data = etree.HTML(html_text)
    # 获取词条属性信息
    base_title = html_data.xpath('//dl[contains(@class,"basicInfo")]/dt//text()')
    base_info = html_data.xpath('//dl[contains(@class,"basicInfo")]/dd')
    # 存放基础信息的列表
    info = []
    for element in base_info:
        info.append(''.join(str.strip() for str in element.xpath('.//text()')))
    # 将基础信息存放到字典里
    info_dict = dict(zip(base_title, info))

    # 创建一个列表 存放本次url的获取到的信息
    # 加入中文名
    tmp_info = [bridge_name]
    # 英文名
    english_name = info_dict.get("外文名", "")
    tmp_info.append(english_name)
    # 始建时间
    build_time = info_dict.get("始建时间", "")
    tmp_info.append(build_time)
    # 投用时间
    use_time = info_dict.get("投用时间", "")
    tmp_info.append(use_time)
    # 所属地区
    address = info_dict.get("所属地区", "")
    tmp_info.append(address)
    # 类型
    bridge_type = info_dict.get("类\xa0\xa0\xa0\xa0型", "")
    tmp_info.append(bridge_type)
    # 长度
    length = info_dict.get("长\xa0\xa0\xa0\xa0度", "")
    tmp_info.append(length)
    # 宽度
    width = info_dict.get("宽\xa0\xa0\xa0\xa0度", "")
    tmp_info.append(width)
    # 车道规模
    lane_size = info_dict.get("车道规模", "")
    tmp_info.append(lane_size)
    # 设计速度
    speed = info_dict.get("设计速度", "")
    tmp_info.append(speed)
    # 起止位置
    start_stop_position = info_dict.get("起止位置", "")
    tmp_info.append(start_stop_position)
    # 途径线路
    route = info_dict.get("途经线路", "")
    tmp_info.append(route)
    # 管理机构
    manage_org = info_dict.get("管理机构", "")
    tmp_info.append(manage_org)

    # 获取简介

    content_text = html_data.xpath('//div[@class="lemma-summary"]//text()')
    if len(content_text) == 0 :
        tmp_info.append("")
    else:
        content = ''.join([con.strip() for con in content_text])
        tmp_info.append(content)

    # 获取img图片信息
    try:
        img = "https://baike.baidu.com" + html_data.xpath('//a[@class="more-link"]/@href')[0]
        tmp_info.append(img)
    except Exception as e:
        tmp_info.append("")

    # 加入到列表汇总
    bridge_info.append(tmp_info)

第四步，保存数据

将获取到的数据保存在excel中

# 保存数据
def saveData(dataList, savePath):
    # 建立一个excel文档
    book = xlwt.Workbook(encoding='utf-8', style_compression=0)
    # 建立一个sheet页
    sheet = book.add_sheet("西藏桥梁汇总", cell_overwrite_ok=True)
    cols = ["中文名", "英文名", "始建时间", "投用时间", "所属地区", "类型", "长度", "宽度", "车道规模", "设计速度", "起止位置", "途径线路", "管理机构", "简介", "图片链接"]
    # 写入标题行
    for i in range(15):
        sheet.write(0, i, cols[i])

    # 写入数据
    for i in range(0, len(dataList)):
        data = dataList[i]
        for j in range(15):
            sheet.write(i+1, j, data[j])
    book.save(savePath)

效果展示及总结

最终的excel文档的样式为：
在这里插入图片描述
空值导致的原因可能有：
1，词条在百度百科不存在。
2，该属性在词条中不存在。
3，该属性在词条中的名称不相同。

存在的问题主要有：
1，词条不存在的关键字信息如何获取。
2，词条的属性格式不统一导致的无法获取到相同的信息格式。

幽幽听风声
关注
  • 3
    点赞
  • 踩
  • 18
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
获取高德地图制定范围内的兴趣点
04-07
获取高德地图制定范围内的兴趣点，选定范围可以是矩形也可以是多边形
python抓取高德POI数据，突破数据量限制
05-02
python抓取高德POI数据，突破数据量限制，包含了python脚本程序和相关输入文件
POI数据高德谷歌
03-14
高德谷歌坐标的poi数据，POI是“Point of Interest”的缩写，可以翻译成“兴趣点”，也有些叫做“Point of Information”，即“信息点”。电子地图上一般用气泡图标来表示POI，像电子地图上的景点、政府机构、公司、商场、饭馆等，都是POI。 POI是基于位置服务的最核心数据，在电子地图上运用场景广泛， 如导航前选择的目的地、查看周边的餐馆等。
高德地图获取最新poi脚本
11-13
高德地图获取最新poi脚本，可以获取所有类型的兴趣点-poi。
茅塞顿开-pandas也可以爬虫！！
qq_42166308的博客
09-23 529
一、思维定式 之前我们一说爬虫就会想到的是 requests第三方库 selenium scrapy beautifulsoup urllib urllib3 等等很多的Python第三方库，当然了java也可以用来爬虫，但是效率比较慢。毕竟Python内置了很多的爬虫三方库，直接调用就可以。 二、pandas使用 说道数据分析，我们最重要也是最费时间的工作其实就是数据的清洗（ETL）工作，数据的干净与否会直接影响你后续的分析、建模、得出决策等方面。所以在我认识的pandas基本是用来做数据的处理。现在
Python获取高德POI兴趣点数据 以及高德的两个坑 示例抓取成都市餐饮服务大类
逸雨清风的专栏 - 血染江山的画，怎敌你眉间一点朱砂
07-12 3264
POI数据，英文全称Point of Intersesting，中文的意思是兴趣点，指的是在地图上有意义的点：比如商店、酒吧、加油站、医院、车站等。POI数据能够赋能时空行为、城市规划、地理信息等研究，因此获取准而全的POI数据是开展科研工作的基础。高德POI大类有汽车服务 汽车销售 汽车维修 摩托车服务 餐饮服务 购物服务 生活服务 体育休闲服务 医疗保健服务 住宿服务 风景名胜 商务住宅 政府机构及社会团体 科教文化服务 交通设施服务 金融保险服务 公司企业 道路附属设施 地名地址信息 公共设施 事件活
python爬取高德POI数据存在的坑
baishaoren的博客
12-31 5077
python爬取高德POI数据存在的坑背景坑1坑2坑3 背景 一个任务是爬高德数据,比如museum，park，shopping mall等数据，其中shopping mall数据不仅仅要爬取shopping mall本身数据，还有爬取shopping mall里面的POI数据. 坑1 最最基本的高德POI数据爬取，根据高德web api文档要求即可，此处存在的坑就是每个key可以爬取的次数有限制...
全球超1850万条POI数据获取方法
hu397313168的博客
04-06 923
每个POI包含四方面信息，名称、类别、坐标、分类，全面的POI讯息是丰富导航地图的必备资讯，及时的POI信息点能提醒用户路况的分支及周边建筑的详尽信息，也能方便导航中查到你所需要的各个地方，选择最为便捷和通畅的道路来进行。POI数据集包含全球超过 1850 万个 POI， 数据按国家或地区组织分别以 CSV 文存档中。正因为POI的采集是一个非常费时费事的工作，对一个。，因此，导航地图POI多少状况直接影响到导航的好用程度。来说，POI的数量在一定程度代表着整个系统的价值。
针对百度地图和高德地图POI数据限制，提出的正多边形搜索。
最新发布
qq_45990684的博客
11-17 775
最近公司需要收集某个站点的POI数据，但是这些API默认有POI条数限制，针对高德和百度地图的开放平台周边搜索poi限制200条数据，搜索网上大部分是开通服务或者是多边形搜索的矩形搜索，我想要的是类似于圆形的周边搜索，于是提出正多边形的多边形搜索
简单的提取POI数据
m0_57206040的博客
08-25 486
对于国外的POI数据而言，国内的一些地图api很难获取到其POI信息，解决的办法一般是两种，第一种是从谷歌地图api申请key，然后下载数据。这种方法是最好的，但是目前需要翻墙、以及注册账号（需要国外信用卡、且并不免费），如果只是做一些简单的研究可以采用第二种方法，通过osmnx去下载，直接贴代码。得到的结果可以保存为shp文件，也能保存为csv文件，具体得到数据如下。
ARCGIS实用工具箱——地图兴趣点POI爬取
05-19
通过地图开放的接口获取某一范围内的POI数据（带有坐标信息的兴趣点，包含该类型样点的属性信息，如地址、所在行政区、公交的班次等），并通过坐标系转换、数据转换成为可以使用的ArcGIS要素类。 可用于学术研究、...
高德地图开放平台的使用
没刮胡子的程序员专栏
01-18 3053
高德地图开放平台的使用
Android 高德地图API（详细步骤+源码）
热门推荐
晨曦
12-25 7万+
为了丰富对地图、定位的了解，在写了百度、腾讯的地图定位之后，终于到了高德地图了。我个人平时日常使用最多的定位软件就是高德地图。所以这篇文章，就带你来初步了解使用。 前言 正文   在此之前呢，默认都没有账号，因此需要先注册一个账号账号才行，点击高德开放平台进入主页面。 点击右上角的注册按钮，然后选择注册开发者的类型，有个人开发者、企业开发者。 如果你已经工作了可以选择企业开发者，只不过需要填写的资料要多一些，这里我选择成为个人开发者，点击。 勾选上这个选项，然后点击确认注册开发者，进入下一步，填写个人
python交通调查数据处理_Python突破高德API限制爬取交通态势数据+GIS可视化（超详细）...
weixin_39594191的博客
11-24 2354
一、需求：爬取高德的交通态势API，将数据可视化为含有交通态势信息的矢量路网数据。二、使用的工具：Python IDLE、记事本编辑器、ArcGIS 10.2、申请的高德开发者KEY（免费）。三、主要思路：本文的思路是使用Python的requests模块爬取高德API的返回信息，将返回的信息数据（JSON），通过代码解析的方式存入CSV文件中，再导入ArcGIS中进行可视化处理。四、分析阶段：根...
API开发实战----调用高德API实现轨迹纠偏里程校准
纯洁2016的博客
08-06 2450
一、前言 在一些和车辆设备有关的项目中需要用到回显车辆的运行轨迹、或者是显示车辆的详细信息（比如里程值、速度等等），但是有些时候，安装在车辆上的GPS上报设备上报的数据并不是百分之百的精准，可能的情况有：个别点的经纬度有偏差（并没有在道路上），车辆的里程值有误等等。本实例要解决的就是车辆的轨迹点偏移和里程值的更新校准。 二、 总体思路 在了解实现流程之前，需要对几个属性进行说明。 设备号：安装在车...
高德poi获取之矩形搜索法(冲出900条限制)
abcbbbd的博客
04-14 7887
高德地图POI获取，用矩形四叉树的方法递归实现，能够成功突破900条记录限制！
高德POI采集方法与大数据分析
QQ_2801061513的博客
10-11 4729
POI是电子地图的核心数据。2005-2022poi分析；可提供的数据格式包括Excel格式、mapinfo tab、sqlserver、oracle、mysql、arcgis shp(wgs84)和mdb格式，csv等格式，该数据均为规范化的数据，便于检索、分析、统计报表，凡在本店购买数据者，均提供免费坐标转换服务。3、类型为各行各业数据，可按类型购买，也可按省或市区域购买，类型有餐饮服务，风景名胜，购物服务， 金融保险服务，科技文化服务，公司企业，汽车服务，体育休闲，医疗保健服务，酒店宾馆等等很多分类。
空间分析：1-1.高德地图获取北京所有小区的POI
吴道简的博客
11-02 3620
我们使用高德开放平台https://lbs.amap.com上的webapi服务，获取POI数据，严格说来不算爬虫，就是调数据接口获取数据而已。 步骤也很简单。 1.获取北京的范围。 2.将北京范围拆分成设定步长的网格，用每个网格矩形搜索小区数据，如果搜索到的数据量大于阈值，则将网格拆分成四个，如此递归，直到矩形搜索到的数据量小于阈值。 3.用2中获取的网格调用接口，获取小区数据，把所有网格的数据汇总到一起就可以了。 稍稍有点难度的，可能就是网格拆分的递归，但只要想明白了，就也很简单。 接...
python 高德poi
07-20
### 回答1： 高德POI是指高德地图的兴趣点（Points of Interest，POI）数据。Python是一种广泛使用的编程语言。那么，Python如何与高德的POI数据进行交互呢？ 首先，我们可以使用Python的requests库向高德的POI接口发送HTTP请求，以获取POI数据。我们需要使用高德的开发者密钥，将其作为参数添加到请求中。通过设置请求的经纬度、半径、关键词等参数，可以获取特定区域、特定类型的POI数据。 接着，我们可以使用Python的json库对返回的JSON格式数据进行解析和处理。通过解析，我们可以获取POI的名称、地址、经纬度、电话等相关信息，并根据需要进行进一步的处理和分析。 在获取到POI数据后，我们可以将其展示在地图上，借助Python的地图可视化库（如folium）实现。通过将POI的经纬度坐标添加到地图上，可以方便地查看POI分布情况，并进行可视化分析。 此外，我们还可以使用Python的机器学习和数据挖掘库对POI数据进行分析。例如，可以使用聚类算法对POI进行聚类分析，找出具有相似特征的POI群组。或者，可以使用文本挖掘技术对POI的描述文本进行情感分析，了解用户对POI的评价情况。 总之，Python提供了丰富的工具和库，可以方便地获取、解析和分析高德的POI数据。通过Python的强大功能，我们可以更好地利用和分析POI数据，以满足不同领域的需求，如地理信息分析、城市规划等。 ### 回答2： Python 高德POI是一个基于Python编程语言的高德地图兴趣点服务接口。POI即兴趣点（Points of Interest），是指地图上的特定地点，例如餐馆、商场、景点等。 使用Python高德POI，我们可以通过调用相应的接口获得特定位置周边的兴趣点信息。首先，我们需要在高德地图开放平台上获取API密钥，然后使用Python的HTTP库发送HTTP请求到高德POI的接口地址，将API密钥和其他参数一起传递给接口。接口会返回一个JSON格式的响应，其中包含了周边兴趣点的相关信息，如名称、地址、经纬度等。 在Python中使用高德POI可以实现很多功能，比如查找指定位置附近的餐馆，或者根据用户输入的关键词搜索特定类型的兴趣点。我们可以根据返回的兴趣点信息，对其进行处理和分析，比如绘制地图、计算距离等。 Python高德POI的使用非常灵活，我们可以根据自己的需求定制特定的功能。此外，高德POI也提供了批量操作接口，允许我们一次性获取多个位置周围的兴趣点信息，方便进行大规模的数据处理和分析。 总而言之，Python高德POI是一个强大的工具，能够帮助我们在Python环境中轻松实现与高德地图相关的兴趣点服务。无论是进行实时地理位置数据处理，还是进行地理信息系统开发，Python高德POI都能够提供便捷而高效的解决方案。 ### 回答3： Python高德POI是一个用于访问和使用高德地图的Python库。POI代表兴趣点(Point of Interest)，它是指地图上的特定位置或区域，如酒店、餐厅、景点等。 使用Python高德POI，我们可以通过API获取各种POI的详细信息。首先，我们需要在高德地图开发者平台上申请一个API密钥。然后，我们可以使用该密钥访问高德地图的API。 要使用Python高德POI，我们首先需要安装它的库文件。可以使用pip命令在命令行中运行"pip install amap"来安装。安装好之后，我们可以在Python脚本中导入amap模块，然后使用其中的函数和类进行地图操作。 例如，我们可以使用amap的search函数在指定的城市中搜索特定类型的POI。我们可以指定查询关键词和城市名称，并设置一些可选参数，如搜索半径、搜索结果数量等。执行查询后，我们可以获取到符合条件的POI的信息，如名称、地址、坐标等。 除了搜索，Python高德POI还提供了其他功能，如地点周边搜索、路径规划等。我们可以使用amap的相关函数来实现这些操作，以满足不同的需求。 总的来说，Python高德POI是一个强大的工具，可以帮助我们在Python中方便地访问和使用高德地图的POI数据。无论是开发地图导航应用程序，还是进行地理位置分析，都可以使用Python高德POI来简化我们的工作，并提供丰富的地图数据支持。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值