爬虫-xpath-4k图片解析下载

1）需求分析

网站：http://www.netbian.com/meinv/
爬取下图所示图片，并保存到本地。

2）基本思路

首先使用requests模块获取网页数据；
其次，利用xpath解析数据，获取li列表，‘//div[@class=“list”]/ul/li’
然后，循环，提取a标签里面的img标签的src，即可获得图片
最后，将数据保存到本地文件；

3）程序

（1）导包

import requests
from lxml import etree

（2）使用requests发起响应，获得网页数据

def get_one_page(url):
    """
    获取某一页的数据
    """
    try:
        headers = {
   
            'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/89.0.4389.90 Safari/537.36 Edg/89.0.774.54'