文章目录
- 一、爬取目标
- 二、实现效果
- 三、准备工作
- 四、代码实战
-
- 4.1 导入模块
- 4.2 设置翻页
- 4.3 获取图片链接
- 4.4 下载图片
- 4.5 调用主函数
- 4.6 完整源码
一、爬取目标
本次爬取的目标是 又又又一个 某网站4K高清小姐姐图片:
二、实现效果
实现批量下载指定关键词的图片,存放到指定文件夹中:
三、准备工作
Python:3.10
编辑器:PyCharm
第三方模块,自行安装:
pip install requests # 网页数据爬取
pip install lxml # 提取网页数据
四、代码实战
4.1 导入模块
import requests # python基础爬虫库
from lxml import etree # 可以将网页转换为Elements对象
import time # 防止爬取过快可以睡眠一秒
import os # 创建文件
4.2 设置翻页
首先我们来分析一下网站的翻页,一共有10页:
第一页链接:
https://www.moyublog.com/95-2-2-0.html
第二页链接:
https://www.moyublog.com/95-2-2-1.html
第三页链接:
https://www.moyublog.com/95-2-2-2.html
可以看出每页只有95-2-2-
后面从第二页开始依次加上1
,所以用循环来构造所有网页链接:
if __name__ == '__main__':
# 页码
page_number = 10
# 循环构建每页的链接
for i in range(0,page_number+1)