python爬虫练习#使用scrapy框架翻页爬取图片

案例需求：

• 使用xpath获取目标网站的图片url
• 利用回调函数进行循环获取并翻页

---

前置条件：

• 目标网站：“https://desk.zol.com.cn/hunsha/12_145.html”
• 安装pillow库
• 使用命令创建scrapy框架
• 在settings中设置请求头，将robots协议关闭

---

案例实现：

首先在zolspider包下创建一个images文件夹用于保存图片

将通道设置为

"scrapy.pipelines.images.ImagesPipeline": 1,

复制images绝对路径，设置图片存放路径

# 图片存放路径地址
IMAGES_STORE = r"D:\soft\pythonProject\python爬虫数分\spiderProject\day10\zolspider\zolspider\images"

观察网站链接和图片链接，我们发现他们的域名各不相同

import scrapy


class ZolSpider(scrapy.Spider):
    name = "zol"
    allowed_domains = ["desk.zol.com.cn", "fashion-fd.zol-img.com.cn"]
    start_urls = ["https://desk.zol.com.cn/hunsha/12_145.html"]

为此，我们在allowed_domains中将两个域名添加进来，在爬取的时候，框架会为我们自动识别

观察网站，我们发现下一页图片的链接就藏在下一页图片的a标签中，使用xpath获取链接，“/html/body/div[2]/div[3]/div/a[2]/@href”，利用回调函数不断爬取直到最后一张图片

    def parse(self, response):
        image_urls = response.xpath('//ul[@class="clearfix"]/li/span/img/@src').extract()

        yield {
            'image_urls': image_urls
        }

        next_url = response.xpath('/html/body/div[2]/div[3]/div/a[2]/@href').extract_first()

        next_page = response.urljoin(next_url)

        yield scrapy.Request(next_page, callback=self.parse)

创建一个begin.py，用于快捷启动

from scrapy.cmdline import execute

execute("scrapy crawl zol".split())

---

结果展示：