【Python】爬虫(Xpath):批量爬取彼岸图网4K图(非真正4K)

因为真正的4K图需要登录,并且登录后一天也就只能下载一张,所以就只解析爬取了内容页的高清图片(1200*633左右)

代码实现了我目前所能想到的用户骚操作的判定,例如选择的类目不在这个网站内, 或者这个类目没有那么多页之类的 废话不多说直接上代码吧

import requests
from lxml import etree
import os


# 封装从栏目页进入内容页连接解析函数
def name(url, type_name, headers):
    url = url + page_list_url[int(type_name)]
    doc_name = './' + page_list_name[int(type_name)].encode('ISO-8859-1').decode('gbk')
    page_list_text = requests.get(url=url, headers=headers).text
    page_list_tree = etree.HTML(page_list_text)
    page_list_limit = page_list_tree.xpath('//*[@id="main"]/div[4]/a[7]/text()')[0]
    while True:
        print("{}上限页数为{}页".format(page_list_name[int(type_name)<