scrapy + selenium爬取王者荣耀游戏壁纸（解决下一页触发问题）

爬取网站

王者荣耀游戏壁纸

实现场景

使用scrapy配合selenium爬取王者荣耀游戏壁纸界面需要反复操作同一个动态页面的方法，通过点击“下一页”或者点击不用的page按钮来访问不同的页面链接，使用selenium创建浏览器对象，然后通过该浏览器对象进行请求发送，获取动态加载的数据值

项目实现

spiders目录下的爬虫文件

import requests
import scrapy
from selenium import webdriver
from selenium.webdriver.chrome.options import Options

from hero_wallpaper.hero_scrapy.hero_scrapy.items import HeroScrapyItem


class HeroSpider(scrapy.Spider):
    name = 'hero'
    # allowed_domains = ['pvp.qq.com']
    start_urls = ['https://pvp.qq.com/web201605/wallpaper.shtml']

    # 实例化一个浏览器对象
    def __init__(self):
        self.now_page = 1
        self.start_url = 'https://pvp.qq.com/web201605/wallpaper.shtml'
        chrome_options = Options()
        chrome_options.add_argument("--headless")
        chrome_options.add_argument("--disable-gpu")
        prefs = {
            "profile.managed_default_content_settings.images": 2,  # 禁止加载图片
            'permissions.default.stylesheet': 2,  # 禁止加载css
        }
        chrome_options.add_experimental_option("prefs", prefs)
        self.browser = webdriver.Chrome(chrome_options=chrome_options)
        super().__init__()

    # 重写start_requests
    def start_requests(self):
        response = scrapy.Request(self.start_url, callback=self.parse, dont_filter=True, meta={'page': self.now_page})
        yield response

    # 重写退出函数 -- 整个爬虫结束后关闭浏览器
    def close(self, spider):
        self.browser.quit()

    def parse(self, response):
        wallpaper_xpath = response.xpath('//*[@id="Work_List_Container_267733"]/div')
        for wallpaper_item in wallpaper_xpath:
            if wallpaper_item.xpath('./ul/li[5]/a/span/text()').extract_first() == '1920x1080':
            	# 创建item实例，将图片链接保存到item实例中
                hero_info = HeroScrapyItem()
                hero_info['image_urls'] = [wallpaper_item.xpath('./ul/li[5]/a/@href').extract_first()]
                yield hero_info

        # 判断是否还有‘下一页’操作
        print(f'第{self.now_page}页图片数据请求成功')
        self.now_page += 1
        if self.now_page <= 2:
            yield scrapy.Request(self.start_url, callback=self.parse, dont_filter=True, meta={'page': self.now_page})

在middlewares.py文件中添加以下代码

class HeroSeleniumDownloaderMiddleware(object):

    # 可以拦截到response响应对象(拦截下载器传递给Spider的响应对象)
    @staticmethod
    def process_response(request, response, spider):
        """
        三个参数:
        # request: 响应对象所对应的请求对象
        # response: 拦截到的响应对象
        # spider: 爬虫文件中对应的爬虫类 WangyiSpider 的实例对象, 可以通过这个参数拿到 WangyiSpider 中的一些属性或方法
        """
        #  对页面响应体数据的篡改, 如果是每个模块的 url 请求, 则处理完数据并进行封装
        if request.url == "https://pvp.qq.com/web201605/wallpaper.shtml":
            if request.meta['page'] == 1:
                spider.browser.get(url="https://pvp.qq.com/web201605/wallpaper.shtml")
                js = "window.scrollTo(0,document.body.scrollHeight)"
                spider.browser.execute_script(js)
            else:
                # 点击‘下一页’
                spider.browser.find_element_by_class_name('downpage').click()
                # time.sleep(1)
            row_response = spider.browser.page_source
            # 参数url指当前浏览器访问的url(通过current_url方法获取), 在这里参数url也可以用request.url, 参数body指要封装成符合HTTP协议的源数据, 后两个参数可有可无
            return HtmlResponse(url=spider.browser.current_url, body=row_response, encoding="utf8", request=request)
        else:
            return response

记得在setting.py中开启中间件，这样我们就实现了scrapy与selenium的使用，并且解决了‘下一页’的问题，成功获取到各个图片的链接了，接下来就可以下载图片了
在items.py文件中添加参数

# 必须是这样命名
image_urls = scrapy.Field()

在pipline.py文件中添加自定义图片下载类

class HeroImagePipeline(ImagesPipeline):

    def item_completed(self, results, item, info):
        # 图片下载完成之后，返回一个处理结果->二元组
        image_paths = [x['path'] for ok, x in results if ok]
        if not image_paths:
            return DropItem('Item contains no image')
        else:
            return item

    def file_path(self, request, response=None, info=None, *, item=None):
        # 用于给下载的图片设置文件名称
        url = request.url
        file_name = url.split('/')[-2]
        return file_name

在setting.py中开启中间件和定义图片下载目录

ITEM_PIPELINES = {
   # 'hero_scrapy.pipelines.HeroScrapyPipeline': 300,
   'hero_scrapy.pipelines.HeroImagePipeline': 301,
}

# 定义图片下载的目录
IMAGES_STORE = 'images'

这样就能下载图片了

附上源代码