[课 题]:
Python爬取某团店铺数据信息并实现数据可视化
[课程亮点]
1、动态数据抓包演示
2、json数据解析
3、requests模块的使用
4、保存csv
[环境介绍]
- python 3.8 解释器
- pycharm 编辑器 2021.2
[模块使用]
-
requests
安装方法 pip install requests (第三方模块 需要大家去安装) -
csv
win + R 输入cmd 输入安装命令 pip install 模块名 (如果你觉得安装速度比较慢, 你可以切换国内镜像源)
相对应的安装包/安装教程/激活码/使用教程/学习资料/工具插件 可以私我领取
本课题流程思路(爬虫最基本思路):
无论是爬取那个网站 都是可以按照这个流程去走的
一. 数据来源分析
1. 确定我们要爬取数据内容是什么?
店铺基本数据信息
2. 通过开发者工具(F12)进行抓包分析 分析数据从哪里可以获取
美团数据, 从第一页数据进行分析的, 没办法实现翻页爬取操作
二. 代码实现步骤: 发送请求 获取数据 解析数据 保存数据
1. 发送请求, 对于店铺信息数据包url地址发送请求 https://apimobile.meituan.com/group/v4/poi/pcsearch/70
2. 获取数据, 获取服务器返回的response响应数据
3. 解析数据, 提取我们想要的一些数据内容 (店铺信息)
4. 保存数据, 把相应的数据内容保存csv表格里面
5. 多页爬取数据内容 >>> 多页爬取找我们请求的url地址的变化规律
6. 爬取电话号码....
爬虫 看到的数据都是可以采集 只是说难易程度问题
多页爬虫数据 数据可视化效果展示 以及 店铺的电话店址采集演示
代码趴
import requests # 数据请求模块 第三方模块 需要 pip install requests
import pprint # 格式化输出模块
import csv # 数据保存模块 csv表格
import time # 时间模块
# mode 保存方式 encoding 编码 newline 新队 wb保存二进制数据
f = open('烤肉.csv', mode='a', encoding='utf-8', newline='')
csv_writer = csv.DictWriter(f, fieldnames=[
'店铺名称',
'人均消费',
'店铺评分',
'店铺类型',
'所在商圈',
'评论人数',
'维度',
'经度',
'详情页',
])
csv_writer.writeheader() # 写入表头
1. 发送请求
# 确定请求的url地址
num = 1
for page in range(0, 321, 32):
print(f'正在爬取第{
num}页的数据内容')
time.sleep(2)
url = 'https://apimobile.meituan.com/group/v4/poi/pcsearch/70'
# 小知识点 pycharm里面小技巧 快速批量替换 选中需要替换的内容 ctrl + r 然后用正则表达式替换
data = {
'uuid': 'e0ee521794ef4b229eb6.1633764159.1.0.0',
'userid': '266252179',
'limit': '32',
'offset': page,
'cateId': '-1',
'q': '烤肉',
'token': 'tRYI1qf6lRQYFw6Fnu2yzM9YXfEAAAAAhA8AAK4wbGGP2BD766PyOuIYZWRkrs14kUl62lE7NGcLsIuqVWo4qXln6gtKqyaJ_cSLlA',
}
# Referer 防盗链 就是告诉服务器 我们发送请求的url地址是从哪里跳转过来的
# User-Agent 用户代理 浏览器基本身份标识
headers = {
'Referer': 'https://chs.meituan.com/',
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/96.0.4664.110 Safari/537.36'
}
# url=url 把请求url地址参数传入进去 params=data 传入请求参数
# 通过requests模块里面get请求方式 对于url地址发送请求 并且携带上 data请求参数 headers请求头, 最后用response变量接收一下返回数据
response = requests.get(url=url, params=data, headers=headers)
# <Response [403]> 返回的response响应对象 403 状态码 表示的你没有访问权限 (发送请求失败了) 200 表示请求成功
# 被识别出 我们是爬虫脚本 伪装
# 2. 获取数据, 获取服务器返回的response响应数据 response.json() 获取响应体json字典数据
# print(response.json())
# pprint.pprint(response.json())
2. 解析数据, 提取我们想要的一些数据内容 (店铺信息) 数据容器之一
# 通过字典键值对取值 关键字 对应 值 根据冒号左边的内容 提取冒号右边的内容
searchResult = response.json()['data']