现在大学生都开始忙期末大作业了吧
不知道选啥,有些老师还规定同班的还不能选一样的网站,这就算了,还得来个ppt,真是麻烦事情一大堆
不过…还是好羡慕大学生,读书真的超级舒服啊,这些也就只能等你步入社会后才能理解的
之前有人找过我要代码,说随便爬爬一个网站的,然后做个十页的ppt,于是我就直接把这个代码丢给他了
上课课不听,下课到处求代码,是谁,我不说
这个网站爬起来真简单,还有一个就确实很好用,相信大家现在聊天都少不了表情包,不知道你们是不是,我反正是的
那咱就不多说,直接开始展示吧
前期准备
环境使用:
Python 3.8
Pycharm 2021.2版本
模块使用:
-
内置模块:
import re -
第三方模块:
import requests >>> pip install requests
如何实现本次案例
明确自己采集数据, 是来自于哪里
-
图片标题
-
图片链接
通过浏览器自带工具: 开发者工具
进行抓包分析
-
打开开发者工具: 鼠标右键点击检查选择network / F12
-
刷新网页: 为了让本网页数据内容重新加载一遍
找到图片链接:
—> 分析有没有地方, 把所有图片地址都包含
-
通过开发者工具: 搜索功能去搜索查询对应数据包在哪里
由一个数据 —> 分析找到相关所有数据来源地址
代码实现步骤
-
发送请求, 模拟浏览器对于url地址发送请求
-
获取数据, 获取服务器返回响应数据
开发者工具: response <网页源代码>
-
解析数据, 提取我们想要的数据内容
-
图片标题
-
图片链接
-
-
保存数据, 把图片内容保存到本地文件夹
实现代码
完整代码获取 👉👉👉 文末名片
导入模块
import requests
import re
import os
采集多页数据内容: 分析请求url的参数变化规律
for page in range(26, 251