Python用selenium爬取高德地图商家数据

注：本文仅供学习使用，请勿用于商业，如需指定类目数据请求，私信交流

1.Selenium简介

Selenium是一个用于测试网站的自动化测试工具，支持各种浏览器包括Chrome、Firefox、Safari等主流界面浏览器，同时也支持phantomJS无界面浏览器。

2.支持多种操作系统
如Windows、Linux、Mac、Unix等。

3.安装selenium及webdriver

>>>#命令行下输入
>>>pip install selenium
>>>
>>>webdriver请根据浏览器及版本对应关系下载
>>>下载后请将exe文件放入有环境变量的路径下，一般放在Python目录下
>>>如导入还有问题，请修改Python目录下对应的配置文件

4.获取高德地图商家信息位置

在此页面可以看到请求的地址信息及方式（更多方式请自行查看），这里的Request URL地址就是我们接下来要用到的

5.进入页面拉数据

由4中获取到的地址打开页面，获取页面源码，并将此段文本转换为json格式即可

6.上源码（此为简易版）

import json
from selenium import webdriver
#打开浏览器
browser = webdriver.Chrome()
urls = '' #自行由上面步骤获取
browser.get(urls)
html_source = browser.page_source
#推出浏览器
browser.quit()
#因拉的源码前后有html文本，截取字符串即可
d = json.dumps(html_source[84:-20],ensure_ascii=False)
d1 = json.loads(d)
#转为字典
d2 = eval(d1)
for i in range(len(d2['data']['poi_list'])):
	#打印商户名称、地址、联系方式
    print([d2['data']['poi_list'][i]['name'],d2['data']['poi_list'][i]['address'],d2['data']['poi_list'][i]['tel']])
    break