前言
嗨喽,大家好呀~这里是爱看美女的茜茜呐
一周工作,忙忙碌碌,身心疲惫,一到周末,倒头大睡,懒得做饭,点个外卖。
今天我们要采集的网站呢,是国内知名的网上订餐平台~
我做的是采集商家商品数据信息,你也可以采集另外数据哦~
本篇文章目录(可自由点击你想看的地方😊)
准备工作
下面的尽量跟我保持一致哦~不然有可能会发生报错 💕
环境使用:
-
Python 3.8
-
Pycharm
模块使用:
-
requests >>> pip install requests
-
csv
如果安装python第三方模块:
-
win + R 输入 cmd 点击确定, 输入安装命令 pip install 模块名 (pip install requests) 回车
-
在pycharm中点击Terminal(终端) 输入安装命令
如何配置pycharm里面的python解释器?
-
选择file(文件) >>> setting(设置) >>> Project(项目) >>> python interpreter(python解释器)
-
点击齿轮, 选择add
-
添加python安装路径
pycharm如何安装插件?
-
选择file(文件) >>> setting(设置) >>> Plugins(插件)
-
点击 Marketplace 输入想要安装的插件名字 比如:翻译插件 输入 translation / 汉化插件 输入 Chinese
-
选择相应的插件点击 install(安装) 即可
-
安装成功之后 是会弹出 重启pycharm的选项 点击确定, 重启即可生效
基本流程: <通用的>
一. 数据来源分析
分析清楚自己想要数据内容, 是请求那个数据包<url>
地址可以得到的
通过开发者工具进行抓包分析…
I. 鼠标右键点击检查(或按F12)弹出开发者工具, 选择network
点击第二页数据 第一个数据包就是我们想要数据内容
二. 代码实现步骤过程:
-
发送请求, 对于模拟浏览器对于url地址发送请求
-
获取数据, 获取服务器返回响应数据 —> 开发者工具里面response
-
解析数据, 提取我们想要数据内容
-
保存数据, 保存表格
额外 翻页多页数据采集
代码展示
因审核因素,我把代码里的网址删去啦~你们可以自行添加一下呐。
一共改了五处网址,采集的网站我会在评论区打出,方便你们添加网址哦~
发送请求
对于模拟浏览器对于url地址发送请求
# - 如何批量替换内容
# 选中替换内容, 按ctrl + R 输入正则表达式命令
# (.*?): (.*)
# '$1': '$2',
# - <Response [403]>