【Python】爬虫(Xpath):批量爬取彼岸图网4K图(非真正4K)

最新推荐文章于 2024-07-19 00:57:59 发布

Zeno_Lee

最新推荐文章于 2024-07-19 00:57:59 发布

阅读量1.1k

点赞数 1

分类专栏： Python 文章标签： python xpath

本文链接：https://blog.csdn.net/qq_43181451/article/details/108039664

版权

本文介绍了如何使用Python和XPath爬取彼岸图网的高清图片，虽然并非真正的4K分辨率，但可以获取到1200*633大小的图片。代码实现中包含了应对不同用户需求的判断处理，如类目不存在或页面不足等情况。

摘要由CSDN通过智能技术生成

因为真正的4K图需要登录,并且登录后一天也就只能下载一张,所以就只解析爬取了内容页的高清图片(1200*633左右)

代码实现了我目前所能想到的用户骚操作的判定,例如选择的类目不在这个网站内, 或者这个类目没有那么多页之类的废话不多说直接上代码吧

import requests
from lxml import etree
import os


# 封装从栏目页进入内容页连接解析函数
def name(url, type_name, headers):
    url = url + page_list_url[int(type_name)]
    doc_name = './' + page_list_name[int(type_name)].encode('ISO-8859-1').decode('gbk')
    page_list_text = requests.get(url=url, headers=headers).text
    page_list_tree = etree.HTML(page_list_text)
    page_list_limit = page_list_tree.xpath('//*[@id="main"]/div[4]/a[7]/text()')[0]
    while True:
        print("{}上限页数为{}页".format(page_list_name[int(type_name)<