Baidu_POI数据爬取与分析

最新推荐文章于 2025-03-15 23:16:44 发布
最新推荐文章于 2025-03-15 23:16:44 发布
阅读量1.3k 收藏 14
点赞数 4
分类专栏： 数据爬虫
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_41627642/article/details/106986968
版权

1、百度POI数据爬取

1、网格大小尺寸相关知识

在这里插入图片描述

2、矩形区域POI检索

在这里插入图片描述
在这里插入图片描述

class localDiv():
    
    def __init__(self,loc,div):
        self.loc=loc
        self.div=div #网格划分的间隔
    #1、纬度划分    
    def lat_div(self):
        lat_sm=float(self.loc.split(',')[0]) 
        lat_ne=float(self.loc.split(',')[2])
        lat_list=[str(lat_ne)]
        while lat_ne-lat_sm>0:
            m=lat_ne-self.div
            lat_ne=lat_ne-self.div
            lat_list.append('%.2f'%m)
        return sorted(lat_list)
    
    #2 经度划分
    def lng_div(self):
        lng_sm=float(self.loc.split(',')[1])
        lng_ne=float(self.loc.split(',')[3])
        lng_list=[str(lng_ne)]
        while lng_ne-lng_sm>0:
            m=lng_ne-self.div
            lng_ne=lng_ne-self.div
            lng_list.append('%.2f'%m)
        return sorted(lng_list)
    
     #经纬度组合
    def ls_com(self):
        lat=self.lat_div()
        lng=self.lng_div()
        latlnglist=[]
        for i in range(len(lat)):
            a=lat[i]
            for j in range(len(lng)):
                b=lng[j]
                ab=a+','+b
                latlnglist.append(ab)
        return latlnglist
    
            
    def ls_REG(self):
        ##划分矩形网格
        lat=self.lat_div()
        lng=self.lng_div()
        latlnglist=self.ls_com()
        ls=[]
        for n in range(0,len(lat)-1):
            for i in range(len(lng)*n,len(lng)*(n+1)-1):
                coor_a=latlnglist[i]
                coor_b=latlnglist[i+len(lng)+1]
                coor=coor_a+','+coor_b
                ls.append(coor)
        return ls
if __name__=='__main__':
    
    loc=localDiv('39.05,114.98,39.15,115.15',0.02)
    lat=loc.lat_div()
    lng=loc.lat_div()
    ls=loc.ls_REG()
    print(ls)

3、百度POI数据下载

import pandas as pd
import numpy as np
import requests as re
import json
import time

#def get_jsondata(json_obj):
#    for item in url1_json['results']:
#        result={}
#        result["name"]=item["name"]
#        result["lat"]=item["location"]["lat"]
#        result["lng"]=item["location"]["lng"]
#        yield result  #生成器让我们一次执行一条记录
##        print(result)

class BaiduPOI(object):
    def __init__(self,query,loc):
        self.query=query #查询的地名
        self.loc=loc#查询的经纬度
    #获取数据的全部网页
    def get_url(self):
        urls=[]
        for i in range(20): #百度最多能下载20页
            url='http://api.map.baidu.com/place/v2/search?query='+self.query\
            +'&bounds='+self.loc+'&page_size=20&page_num='+str(i)+'&output=json&ak=mu49L02KGmvERpLIGQHEkmI9IAuHmKCH'
            urls.append(url)
        return urls
    #获取POI详情数据
    def get_data(self):
        urls=self.get_url()
        for i,url in enumerate(urls):
            #异常处理
            try:
                print(i,url)
                url=re.get(url).text #网页版的内容
                url_json=json.loads(url)#转换为可以识别的Json数据,数据是一个字典形式
                if url_json["total"] !=0:
                    for item in url_json['results']:
                        result={}
                        result["name"]=item["name"]
                        result["lat"]=item["location"]["lat"]
                        result["lng"]=item["location"]["lng"]
                        yield result  #生成器让我们一次执行一条记录
                else:
                    print("本页及以后无数据！")
                    break
            
            except:
                print("error")
                with open("log.txt",'a') as f:
                    f.write(url+'\n')
                        
if __name__=="__main__":
    poi=BaiduPOI("银行",'39.615,116.404,39.975,116.414')
    data=poi.get_data()
    print(pd.DataFrame(data))

4、按分块矩形区域下载数据


在这里插入图片描述

import pandas as pd
import numpy as np
import requests as re
import json
import time
#def get_jsondata(json_obj):
#    for item in url1_json['results']:
#        result={}
#        result["name"]=item["name"]
#        result["lat"]=item["location"]["lat"]
#        result["lng"]=item["location"]["lng"]
#        yield result  #生成器让我们一次执行一条记录
##        print(result)

class BaiduPOI(object):
    def __init__(self,query,loc):
        self.query=query
        self.loc=loc
    #获取数据的全部网页
    def get_url(self):
        urls=[]
        for i in range(20):
            url='http://api.map.baidu.com/place/v2/search?query='+self.query\
            +'&bounds='+self.loc+'&page_size=20&page_num='+str(i)+'&output=json&ak=mu49L02KGmvERpLIGQHEkmI9IAuHmKCH'
#            url='http://api.map.baidu.com/place/v2/search?query='+self.query\
#            +'&bounds='+self.loc+'&page_size=20&page_num='+str(i)+'&output=json&ak=LQ1CU3gi0FZZBQQl8LOIOOOYK4n3g654'
            urls.append(url)
        return urls
    #获取POI详情数据mu49L02KGmvERpLIGQHEkmI9IAuHmKCH
    def get_data(self):
        urls=self.get_url()
        for i,url in enumerate(urls):
            #异常处理
            try:
                print(i,url)
                url=re.get(url).text #网页版的内容
                url_json=json.loads(url)#转换为可以识别的Json数据,数据是一个字典形式
                if url_json["total"] !=0:
                    for item in url_json['results']:
                        result={}
                        result["sort1"]=item["id"]
                        result["sort2"]=item["v"]
                        result["name"]=item["name"]
                        result["name"]=item["name"]
                        result["lat"]=item["location"]["lat"]
                        result["lng"]=item["location"]["lng"]
                        yield result  #生成器让我们一次执行一条记录
                else:
                    print("本页及以后无数据！")
                    break
            except:
                print("error")
                with open("./log.txt",'a') as f1:
                    f1.write(url+'\n')

class localDiv():
    def __init__(self,loc,div):
        self.loc=loc
        self.div=div
        
    def lat_div(self):
        lat_sm=float(self.loc.split(',')[0])
        lat_ne=float(self.loc.split(',')[2])
        lat_list=[str(lat_ne)]
        while lat_ne-lat_sm>0:
            m=lat_ne-self.div
            lat_ne=lat_ne-self.div
            lat_list.append('%.2f'%m)
        return sorted(lat_list)
   
    def lng_div(self):
        lng_sm=float(self.loc.split(',')[1])
        lng_ne=float(self.loc.split(',')[3])
        lng_list=[str(lng_ne)]
        while lng_ne-lng_sm>0:
            m=lng_ne-self.div
            lng_ne=lng_ne-self.div
            lng_list.append('%.2f'%m)
        return sorted(lng_list)
    
     #经纬度组合
    def ls_com(self):
        lat=self.lat_div()
        lng=self.lng_div()
        latlnglist=[]
        for i in range(len(lat)):
            a=lat[i]
            for j in range(len(lng)):
                b=lng[j]
                ab=a+','+b
                latlnglist.append(ab)
        return latlnglist
    
            
    def ls_REG(self):
        ##划分矩形网格
        lat=self.lat_div()
        lng=self.lng_div()
        latlnglist=self.ls_com()
        ls=[]
        for n in range(0,len(lat)-1):
            for i in range(len(lng)*n,len(lng)*(n+1)-1):
                coor_a=latlnglist[i]
                coor_b=latlnglist[i+len(lng)+1]
                coor=coor_a+','+coor_b
                ls.append(coor)
        return ls
        

if __name__=='__main__':
    pois={"商业":["酒店","购物","金融"],
          "公共服务":["生活服务","丽人","运动健身","留学中介机构","培训机构","汽车销售",
                  "汽车维修","汽车美容","汽车配件","汽车租赁","汽车检测场"],
                  "行政机构":["政府机构"]
            }

    print("......开始爬取数据.....................")
    
    loc=localDiv('39.615,116.404,39.975,116.414',0.06)
#    loc=localDiv('31.61,118.46,32.29,119.24',0.02)
    loc_to_use=loc.ls_REG()
    print(loc_to_use)
    for id,vl in pois.items():
        print("爬取",id)
        file_name="Baidu_poi_{}.csv".format(id)
        print(file_name)
        for l in loc_to_use:
            for v in vl:
                poi_data=BaiduPOI(v,l)
                data=poi_data.get_data()
                data=pd.DataFrame(data)
                print(data)
                if len(data) !=0:
                    data.to_csv(file_name)
                else:
                    pass

5、坐标系转换

坐标转换模块
采用博客里面的bd09_to_wgs84(lng, lat) # 百度坐标系->WGS84坐标系

6、ArcGIS数据平台数据分析

6.1创建渔网，0.002像元大小，1度是111km,添加一个字段In_Check。

在这里插入图片描述

6.2 将渔网和poi进行空间连接

目标是渔网、源是POI,采用一对多。
在这里插入图片描述
在这里插入图片描述

6.3 属性表连接（相同的字段）

在这里插入图片描述

6.4 计算出来的每个渔网的熵

在这里插入图片描述

6.5 出租车司机的数据分析

在这里插入图片描述

利用arcgis中的工具xy to line工具，可以轻松实现径向流量图
ArcGIS10 XY To Line工具介绍与使用
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

百度地图POI数据爬取
qq_37273544的博客
07-29 2465
利用百度地图开发者中心中的web API获取城市POI数据，后期会写出完整的多种参数详细数据获取教程。本次只写出了根据关键词和目的地的数据获取程序。 将爬取下来的数据保存到本地csv文件。 百度API返回的是标准的json格式数据。具体实现程序如下： import time import json import sys import requests ...
百度POI爬取插件
04-08
POI爬取插件POI爬取插件POI爬取插件POI爬取插件POI爬取插件
建筑兔零基础自学记录46|获取百度POI-2
tzcnancy的博客
03-14 491
POI分类、基本参数、矩形检索、圆形检索
爬取百度poi数据.py
07-01
Python代码，可以用来爬取百度地图上的小区数据，但当然可以爬取学校，还有公园，并且获得经纬度
百度POI数据抓取下载
08-13
本网页是在前人的基础上完成的，文件中也包括前人的代码，再次对原作者表示衷心的感谢。其中BaiduPOI文件是本人在前人的基础上完成的，其中能够完成的功能主要有一下几个： 1、能够以关键字进行分类检索百度POI数据。 2、能够手动绘制检索范围，按照绘制的范围进行检索。 3、提供检索结果自动保存的功能。 4‘检索结果能够以Txt和Excel文件自动保存到C盘根目录下，文件名字分别为points.txt和test.exl。
百度POI数据抓取-BeautifulSoup
热门推荐
沐沐余风的专栏
11-01 2万+
因为实验室项目需要上海市POI数据，百度了一圈也没有找到下载资源。于是参考了这个博客，自己手动爬取。 比较熟悉Python，所以这里分享自己写的Python版本实现过程。获取百度POI数据的方法是构建关键词搜索url，请求url获取返回的json数据。 http://map.baidu.com/?newmap=1&reqflag=pcmap&biz=1&from=webmap&da_par=di
爬取百度POI（1）
black000shirt的博客
03-29 657
获取百度poi第一步：划分网格 1、获取百度api一些注意事项 1、坐标拾取：左下–右上（西南sw-东北ne） 2、坐标格式：（纬度,经度）–（lat,lng） 3、一次返回400条限制 4、尺度： 1度~111km 0.1度~11km 0.05度~5.5km 0.02度~2.2km --> 2.2*2.2~5km2 一 一般5km2内不会有某种poi超过400条 2、划分网格思路 #例如...
Python创作_POI_百度地图爬取医院兴趣点_
09-29
在这个项目中，收集到的医院POI数据将导入ArcGIS进行分析，可能包括空间查询、热点分析、距离分析等，以揭示医院分布的模式和规律。 8. **地理数据分析**：结合GIS工具，我们可以对医院POI数据进行空间统计和可视化...
POI.zip_POI爬取_R7U_sum3rz_爬取兴趣点_百度poi
07-14
在描述中提到的"python爬取百度POI数据，根据URL爬取兴趣点数据，并下载到本地"，表明该项目使用Python编程语言，通过编写脚本来访问百度提供的API或者解析网页HTML，提取出POI数据，并将这些数据存储到本地，可能是...
python爬取poi城市版_python爬虫_poi爬取软件_POI_地图爬虫_python
09-11
6. **存储与持久化**：抓取到的POI数据通常需要保存到本地，以便后续处理或分析。Python的`csv`模块可以用来写入CSV文件，`json`模块可以处理JSON格式，而数据库如SQLite或MySQL则更适合大量数据的存储。 在提供的...
python爬取poi城市版_python爬虫_poi爬取软件_POI_地图爬虫_python.zip
10-10
同时，遵守网站的robots.txt规则，确保合法、合规地进行数据爬取。 在实际操作中，我们需要分析目标地图服务的网页结构，找到包含POI信息的部分。例如，POI信息可能存在于JSON或XML响应中，也可能嵌入在HTML的特定...
百度poi爬取插件
04-23
爬取poi插件 爬取坐标经纬度、地址等数据。把数据粘贴到表格中 ，方便编辑
poi数据爬取工具
08-31
资源类型比较丰富，能够获取到中国大陆各种类型的POI数据
百度poi数据
12-27
百度poi数据、商户数据、热点数据，2018年11月数据。 包含使用说明
百度地图POI数据——北京
10-30
百度地图北京地区的POI数据，美食、景点、小区等所有分类，2016年9月数据
基于Selenium的百度地图POI数据爬取实战
最新发布
2201_76125261的博客
03-15 534
通过本次实战，我们成功实现了以下目标：✅ 绕过反爬虫机制✅ 爬取 POI 列表数据✅ 提取 POI 详情（名称、地址、电话、类别）✅ 结构化存储为 CSV 文件。
使用百度地图POI爬取需要的数据
weixin_45256499的博客
03-13 8051
目标：爬取阿克苏地区内的所有医院数据。 一、百度地图开放平台注册，获取到AK。 （1）在http://lbsyun.baidu.com/完成注册。 这个平台是百度地图为开发者提供接口用的，有很多其他的功能，这里只讲POI爬取相关。 （2）登陆百度地图开放平台后 点击“控制台”->“应用管理”->"我的应用“->“创建应用” 然后进行相关设置 1.注意是选择服务端还是浏览器端 比如接下来我的操作是在浏览器进行的，所以我选择浏览器端 2.根据自身需要，设置IP白名单，限制调用ak的电脑，若不
调用百度地图API 爬取poi数据
weixin_73909140的博客
06-08 1031
"region": region, # 检索区域，可以是城市名或经纬度坐标。if data["status"] == 0: # 状态码为0表示请求成功。region = "北京市" # 检索区域，可以是城市名或经纬度坐标。"output": "json", # 输出格式为json。query = "餐厅" # 搜索关键词，例如餐厅、商场、医院等。"ak": api_key # 您的百度地图API密钥。"query": query, # 兴趣点关键词。# 输入您的百度地图API密钥。
基于requests和xpath抓取百度地图POI位置数据（有代码！！）
m0_51638913的博客
03-19 1831
前段时间，我导在给研究生上课时，布置了一个作业，让每个小组爬取xx城市的所有ktv数据。我以此为灵感，借助python平台的request、etree和tkinter开发了一个POI爬取小程序。可以爬取全国各地区指定分类的POI数据。小程序界面：本文主要介绍如何利用requests模块和xpath来爬取指定的POI数据，不涉及小程序的开发内容，如有兴趣者，可留言与我交流，闲话少说，直接上货！
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值