聚焦爬虫__糗事百科图片抓取__分页

把糗事百科页面翻到最底部可以看到一共有13页，现在打开第2，3页，看到上面的网址会变为https://www.qiushibaike.com/8hr/page/2/和https://www.qiushibaike.com/8hr/page/3/，改变的只有页码，所以就可以在指定url时，设置一个通用的url模板。

爬取结果：

代码：

import requests
import re
import os

# 创建一个文件夹，保存所有图片
if not os.path.exists('./qiutuliba_fenye'):
    os.mkdir('./qiutulibs_fenye')
headers = {
    'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/96.0.4664.93 Safari/537.36'
}

# 设置一个通用的url模板
url = 'https://www.qiushibaike.com/8hr/page/%d/'
# 自由设置页码范围
for pagenum in range(1,3):
    new_url=format(url%pagenum)

    # 使用通用爬虫对url对应的一整张页面进行爬取
    page_text = requests.get(url=new_url,headers=headers).text
    # 使用聚焦爬虫对整张页面的所有糗图进行解析/提取。这里不懂正则表达式的可以去菜鸟教程https://www.runoob.com/python3/python3-reg-expressions.html学，现在的糗事网站和之前的不一样，所以自己手动修改了正则表达式才运行出结果，\表示匹配字符串结束
    ex='<li class="item typs_multi".*?<img src="(.*?)\?imageView2.*?" alt.*?</a>'
    imag_src_list = re.findall(ex,page_text,re.S)
    print(imag_src_list)

    # 遍历列表
    for src in imag_src_list:
            # 拼接出一个完整的图片url
            src = 'https:'+src
            # 请求到图片二进制数据
            imag_data=requests.get(url=src,headers=headers).content
            # 生成图片名称
            imag_name=src.split('/')[-1]
            # 图片存储的路径
            imagPath='./qiutulibs_fenye/'+imag_name
            with open(imagPath,'wb')as fp:
                fp.write(imag_data)
                print(imag_name,'下载成功！')