xpath爬取图片

#-*- codeing = utf-8 -*-
#@Time :2020/11/30 20:35
#@Author : 徐微
#@File : 04-xpath(wallhaven).py
#@Software: PyCharm


import requests
from lxml import etree
import os
'''
思路：
    1.UA伪装
    2.获取url
    3.将获取网页的转成text格式   (requests.get)
    4.将text转成对应的html格式   (etree.HTML)
    5.获取图片的列表格式(通过x.path)
    6.创建文件夹保存
    7.通过x.path获取每张图片的地址
    8.通过x.path获取每张图片的名字
    9.将图片以二进制格式保存
    10.将图片以读写方式（wb）存入文件夹
'''
if __name__ == "__main__":
    headers = {
        'user-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/72.0.3626.81 Safari/537.36 SE 2.X MetaSr 1.0'
    }
    url = 'https://wallhaven.cc/search?q=id:2278&sorting=random&ref=fp'
    page_text = requests.get(url=url,headers=headers).text

    tree = etree.HTML(page_text)  #将网站中的html源码数据加载到tree里
    li_list = tree.xpath('//section[@class="thumb-listing-page"]/ul/li')   #获取源码对应的图片列表
     
  #  print(li_list)
    # li_list = tree.xpath('//div[@class="slist"]/ul/li')


    # 创建一个文件夹
    if not os.path.exists('./wallhaven'):
        os.mkdir('./wallhaven')

    for list in li_list:
        img_src = list.xpath('//img/@src')[0]    #获取每个list中src对应的地址，若不全，则可以补全    
        print(img_src)
        img_name = list.xpath('./figure/@class')[0]

        img_data = requests.get(url=img_src, headers=headers).content
        img_path = 'wallhaven/' + img_name
        with open(img_path, 'wb') as fp:
            fp.write(img_data)
            print(img_name, '下载成功！！！')