scrapy中间件获取动态数据

    from scrapy.http.response.html import HtmlResponse
    from selenium import webdriver
    from selenium.webdriver.chrome.options import Options
    #自定义中间件
    class CustomMiddleware(object):
        def process_request(self, request, spider):
        # 当引擎从调度器中取出request进行请求发送下载器之前
        # 会先执行当前的爬虫中间件 ，在中间件里面使用selenium
        # 请求这个request ，拿到动态网站的数据 然后将请求
        # 返回给spider爬虫对象
            url = request.url
            opt = Options()
            opt.add_argument('--headless')
            #创建谷歌浏览器对象
            driver = webdriver.Chrome(chrome_options=opt)
            driver.get(url)
            #让浏览器滚动到底部
            for x in range(1,11,2):
                j = x / 10
                js = 'document.documentElement.scrolTop = document.documentElement.scrollHeigent*%f'%j
                driver.execute_script(js)
                #获取网页源代码
                page_source = driv