爬虫基础技术

准备工作

网页准备

1、右击找到检查
在这里插入图片描述
2、找到网络
在这里插入图片描述
3、刷新后得到多条数据
在这里插入图片描述
4、在右边下面找到User-Agent
在这里插入图片描述5、得到(User-Agent
Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:96.0) Gecko/20100101 Firefox/96.0)

Python准备

1、新建项目
在这里插入图片描述2、新建文件夹用于存放图片img 新建py文件

在这里插入图片描述
3、安装lxml和requests库
《1》安装代码:pip install lxml
在这里插入图片描述

《2》安装代码:pip install requests
在这里插入图片描述

开始编写代码

爬取数据

1、导入需要的库
在这里插入图片描述
2、链接网站(https://pic.netbian.com/tupian/18853.html)

在这里插入图片描述
3、获得伪装进入网站(网页准备工作)
在这里插入图片描述4、测试是否爬取成功
在这里插入图片描述
5、爬取成功

在这里插入图片描述

将数据分类得到想要的数据

1、提取数据将数据可视化
在这里插入图片描述
2,运行结果得到了图片和标题
在这里插入图片描述

得到数据,将数据保存至img文件夹

1、将数据储存至img文件夹
在这里插入图片描述
2、运行结果

在这里插入图片描述
在这里插入图片描述

结束end

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值