scrapy中间件获取动态数据

最新推荐文章于 2023-06-27 09:27:25 发布

sklsxy

最新推荐文章于 2023-06-27 09:27:25 发布

阅读量412

点赞数

本文链接：https://blog.csdn.net/sklsklsklsxy/article/details/82503672

版权

本文介绍如何利用Scrapy中间件处理动态加载的内容，通过集成Selenium或Splash等工具，实现对JavaScript渲染页面的数据抓取，确保获取到完整的网页信息。

摘要由CSDN通过智能技术生成

    from scrapy.http.response.html import HtmlResponse
    from selenium import webdriver
    from selenium.webdriver.chrome.options import Options
    #自定义中间件
    class CustomMiddleware(object):
        def process_request(self, request, spider):
        # 当引擎从调度器中取出request进行请求发送下载器之前
        # 会先执行当前的爬虫中间件 ，在中间件里面使用selenium
        # 请求这个request ，拿到动态网站的数据 然后将请求
        # 返回给spider爬虫对象
            url = request.url
            opt = Options()
            opt.add_argument('--headless')
            #创建谷歌浏览器对象
            driver = webdriver.Chrome(chrome_options=opt)
            driver.get(url)
            #让浏览器滚动到底部
            for x in range(1,11,2):
                j = x / 10
                js = 'document.documentElement.scrolTop = document.documentElement.scrollHeigent*%f'%j
                driver.execute_script(js)
                #获取网页源代码
                page_source = driv