百度地图POI数据爬取，突破百度地图API爬取数目“400条“的限制11。

最新推荐文章于 2024-08-10 00:15:00 发布

dhptkq9465

最新推荐文章于 2024-08-10 00:15:00 发布

阅读量1.3k

点赞数 1

文章标签：爬虫 json python

原文链接：http://www.cnblogs.com/telwanggs/p/10383755.html

版权

本文介绍了如何申请百度地图API的AK并利用Python爬取POI数据。通过城市内检索和矩形检索两种方式，解决API返回POI数据数量限制问题。当POI数量超过400条时，使用矩形检索划分子网格来爬取全部信息。

摘要由CSDN通过智能技术生成

1.POI爬取方法说明

1.1AK申请

　　登录百度账号，在百度地图开发者平台的API控制台申请一个服务端的ak,主要用到的是Place API.检校方式可设置成IP白名单，IP直接设置成了0.0.0.0/0比较方便。
　　Place API 提供的接口用于返回查询某个区域的某类POI数据，且提供单个POI的详情查询服务，用户可以使用C#、C++、Java，Python等开发语言发送请求，接收json、xml的数据。关于Place API的具体使用可以参考：Place API Web服务API

1.2爬取方式

　　百度地图将POI数据划分为多个类别，我想要爬取某个城市的所有类别的POI名称和经纬度信息。爬取时，先将类别存储在一个“POI总表.csv”文件中，再逐类别爬取POI数据。POI总表包含POI类别、POI类别对应的编码、各类POI记录条数。
　　Place API提供了3种爬取区域POI信息的方式：(1)城市内检索 (2)矩形检索 (3)圆形区域检索。这里，POI信息的爬取主要使用城市内检索和矩形检索两种方式。

1.2.1城市内检索

　　城市内检索主要的请求参数是query查询的类别、region查询的城市名称。将查询得到json格式的数据,解码为utf-8编码方式后存储在content中。通过正则表达式可以得到POI的名称和经纬度信息。

reg = r'"name":"([\d\D]*?)",[\d\D]*?"lat":([\d\D]*?),[\d\D]*?"lng":([\d\D]*?)},'
pattern = re.compile(reg)
items = re.findall(pattern,content)

1.2.2矩形检索

矩形检索的主要请求参数是query查询的类别、bounds查询区域的左下、右上经纬度。lat,lng(左下角坐标),lat,lng(右上角坐标)。查询得到的结果与城市范围内检索结果相似。
通过两种方式实现POI的区域检索都很便捷，但是当城市较大，某一类POI信息数量大时，由于百度API的限制，1.2.1城市内检索最多只能返回400条POI数据，会造成查不全的现象。这时，可以