前言
这里容我罗嗦几句 😗
这个时间,我想大学生应该都回学校了吧,嘿嘿
现在应该蛮忙的,有些的还要准备开学考,临近毕业的朋友,也快要因为工作而烦恼了,但是!!
咱也是要有点娱乐时间的,俗话说劳逸结合嘛
正好周末我还要和朋友出去玩,这下雨天的,也不好在室外逛,索性就准备看看剧本杀或者其他桌游
咱就是干啥都是要有所准备的,这不得用python来采集采集这些桌游店的数据信息,比较比较哪家更好吗
再顺便做个 可视化数据展示
那咱就直接开始吧
环境使用:
- Python 3.8
- Pycharm
模块使用:
- requests >>> pip install requests
- re
- csv
如何安装python第三方模块:
- win + R 输入 cmd 点击确定, 输入安装命令 pip install 模块名 (pip install requests)回车
- 在pycharm中点击Terminal(终端) 输入安装命令
基本流程思路
一. 数据来源分析
- 找url, 找我们想要数据从哪里来的
采集美 —> 武汉 桌游 上商品数据 - 通过开发者工具进行抓包分析
F12 或者鼠标右键点击检查, 选择 network
二. 代码实现步骤过程: 固定四大步骤
-
发送请求, 对于刚刚分析得到url地址发送请求
-
获取数据, 获取服务器返回响应数据 —> 开发者工具里面response
-
解析数据, 提取我们想要数据内容 —> 店铺基本信息
-
保存数据, 保存数据, 保存表格里面
-
多页数据采集
多页数据采集 —> 循环 for <目的>
分析请求url地址参数变化
实现代码
导入模块
# 导入数据请求模块 ---> 第三方模块 需要在cmd里面进行 pip install requests
import requests
# 导入格式化输出模块 ---> 内置模块 不需要安装
from pprint import pprint
# 导入csv模块 ---> 内置模块 不需要安装
import csv
创建文件
f = open('武汉桌游多页.csv', mode='a', newline='&#