python带你采集商家商品数据信息~带你点外卖不迷路

前言

嗨喽，大家好呀~这里是爱看美女的茜茜呐

一周工作，忙忙碌碌，身心疲惫，一到周末，倒头大睡，懒得做饭，点个外卖。

今天我们要采集的网站呢，是国内知名的网上订餐平台~

我做的是采集商家商品数据信息，你也可以采集另外数据哦~

---

---

准备工作

下面的尽量跟我保持一致哦~不然有可能会发生报错 💕

环境使用:

• Python 3.8

• Pycharm

---

模块使用:

• requests >>> pip install requests

• csv

---

如果安装python第三方模块:

1. win + R 输入 cmd 点击确定, 输入安装命令 pip install 模块名 (pip install requests) 回车

2. 在pycharm中点击Terminal(终端) 输入安装命令

---

如何配置pycharm里面的python解释器?

1. 选择file(文件) >>> setting(设置) >>> Project(项目) >>> python interpreter(python解释器)

2. 点击齿轮, 选择add

3. 添加python安装路径

---

pycharm如何安装插件?

1. 选择file(文件) >>> setting(设置) >>> Plugins(插件)

2. 点击 Marketplace 输入想要安装的插件名字 比如:翻译插件 输入 translation / 汉化插件 输入 Chinese

3. 选择相应的插件点击 install(安装) 即可

4. 安装成功之后 是会弹出 重启pycharm的选项 点击确定, 重启即可生效

---

基本流程: <通用的>

一. 数据来源分析

分析清楚自己想要数据内容, 是请求那个数据包<url>地址可以得到的

通过开发者工具进行抓包分析…

I. 鼠标右键点击检查（或按F12）弹出开发者工具， 选择network 点击第二页数据 第一个数据包就是我们想要数据内容

二. 代码实现步骤过程:

1. 发送请求, 对于模拟浏览器对于url地址发送请求

2. 获取数据, 获取服务器返回响应数据 —> 开发者工具里面response

3. 解析数据, 提取我们想要数据内容

4. 保存数据, 保存表格

额外 翻页多页数据采集

---

代码展示

因审核因素，我把代码里的网址删去啦~你们可以自行添加一下呐。

一共改了五处网址，采集的网站我会在评论区打出，方便你们添加网址哦~

发送请求

对于模拟浏览器对于url地址发送请求

#     - 如何批量替换内容
#         选中替换内容, 按ctrl + R 输入正则表达式命令
#         (.*?): (.*)
#         '$1': '$2',
#     - <Response [403]>