python案例之绝对领域全站图片采集(超级简单)

本文链接：https://blog.csdn.net/python56123/article/details/129989676

前言

嗨喽~大家好呀，这里是魔王呐 ❤ ~!

课程亮点:

1、系统性分析页面

2、多页面数据解析

3、海量图片数据保存

开发环境 & 第三方模块:

解释器版本 >>> python 3.8
代码编辑器 >>> pycharm 2021.2
requests >>> 主要用来发送 HTTP 请求 / 第三方模块
parsel >>> 主要用来将请求后的字符串格式解析成re,xpath,css进行内容的匹配 / 第三方模块

第三方模块安装：

win + R 输入cmd 输入安装命令 pip install 模块名

(如果你觉得安装速度比较慢, 你可以切换国内镜像源)

本次目标

代码展示

*python资料、源码、教程: 点击此处跳转文末名片获取

导入模块

import requests
import parsel

批量采集

for page in range(1, 504):

请求链接

    url = f'*****/tuji/page/{page}'

发送请求访问的是列表页面

    response = requests.get(url)

获取数据列表页面源代码

    html_data = response.text

解析数据拿到详情页的链接

    # .post-info h2 a
    # css/xpath/re
    select = parsel.Selector(html_data)
    detailUrlList = select.css('.post-info h2 a::attr(href)').getall()
    # print(detailUrlList)
    for detailUrl in detailUrlList:

发送请求访问所有详情页链接

        resp = requests.get(detailUrl)

获取数据获取到详情页里面的源代码

        detail_html = resp.text

解析数据提取出详情页源代码里面的图片链接

        select_2 = parsel.Selector(detail_html)
        img_list = select_2.css('.entry-content img::attr(src)').getall()
        print(img_list)
        for img in img_list:

保存数据图片

            img_data = requests.get(img).content
            img_name = img.split('/')[-1]
            open(f'img/{img_name}', mode='wb').write(img_data)