爬虫学习：实现对彼岸图4k图片的下载

最新推荐文章于 2022-02-07 15:40:27 发布

昧着良心说实话

最新推荐文章于 2022-02-07 15:40:27 发布

阅读量6.1k

点赞数 2

分类专栏：爬虫文章标签：学习

本文链接：https://blog.csdn.net/GongmissYan/article/details/100067359

版权

本文介绍了使用Python爬虫，结合requests、time、xpath和os库，实现从彼岸图网站下载4K图片的实战项目。通过源码分享，展示完整下载过程。

摘要由CSDN通过智能技术生成

在学习python爬虫一段时间后，进行第一个项目的实践。

本文使用的库为：requests库 time库 xpath库 os库,

目的：实现对彼岸图4k图片的下载

源码：

import requests
import time
from lxml import etree
import os

headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.142 Safari/537.36',
    'Cookie': '_xsrf=2|564c23e9|a46b8cac21ef08bf52221f1b840f5462|1565579147; Hm_lvt_2670efbdd59c7e3ed3749b458cafaa37=1565579182; BAIDU_SSP_lcr=https://cn.bing.com/; _qqq_uuid_="2|1:0|10:1565579148|10:_qqq_uuid_|56:NGVlZTIxMjdiYjYxMTQ5ZTU2NDk2YjhkMmM1ODM2Njg2N2I0Y2JjYw==|520099f3c590773f531a9c5f1eb1d82adba8893e730d3b508c3045904e1cfd9c"; _ga=GA1.2.349374621.1565579182; _gid=GA1.2.361209414.1565579182; Hm_lpvt_2670efbdd59c7e3ed3749b458cafaa37=1565580312'
            }
def handle_request(url,page):
        #由于首页的构建方式和后续界面不一致，所以需要进行判断
        if page