Python用selenium爬取高德地图商家数据

注:本文仅供学习使用,请勿用于商业,如需指定类目数据请求,私信交流

1.Selenium简介

Selenium是一个用于测试网站的自动化测试工具,支持各种浏览器包括Chrome、Firefox、Safari等主流界面浏览器,同时也支持phantomJS无界面浏览器。

2.支持多种操作系统
如Windows、Linux、Mac、Unix等。

3.安装selenium及webdriver

>>>#命令行下输入
>>>pip install selenium
>>>
>>>webdriver请根据浏览器及版本对应关系下载
>>>下载后请将exe文件放入有环境变量的路径下,一般放在Python目录下
>>>如导入还有问题,请修改Python目录下对应的配置文件

4.获取高德地图商家信息位置
在首页进入检查模式,单击清楚后搜索页面
在此页面可以看到请求的地址信息及方式(更多方式请自行查看),这里的Request URL地址就是我们接下来要用到的

5.进入页面拉数据
在这里插入图片描述
由4中获取到的地址打开页面,获取页面源码,并将此段文本转换为json格式即可

6.上源码(此为简易版)

import json
from selenium import webdriver
#打开浏览器
browser = webdriver.Chrome()
urls = '' #自行由上面步骤获取
browser.get(urls)
html_source = browser.page_source
#推出浏览器
browser.quit()
#因拉的源码前后有html文本,截取字符串即可
d = json.dumps(html_source[84:-20],ensure_ascii=False)
d1 = json.loads(d)
#转为字典
d2 = eval(d1)
for i in range(len(d2['data']['poi_list'])):
	#打印商户名称、地址、联系方式
    print([d2['data']['poi_list'][i]['name'],d2['data']['poi_list'][i]['address'],d2['data']['poi_list'][i]['tel']])
    break

  • 3
    点赞
  • 34
    收藏
    觉得还不错? 一键收藏
  • 2
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值