scrapy splash 实现下滑加载

最新推荐文章于 2024-08-10 08:39:58 发布

荣耀王者荣耀

最新推荐文章于 2024-08-10 08:39:58 发布

阅读量4.5k

点赞数

本文链接：https://blog.csdn.net/u011429899/article/details/78611655

版权

本文介绍了如何利用Scrapy Splash的Lua脚本来实现对具有下滑加载功能的网页的完整爬取，详细讲解了具体的方法和步骤。

摘要由CSDN通过智能技术生成

实现滚轴下拉加载页面的splash script(Lua 脚本)

方法1

function main(splash, args)
  splash:set_viewport_size(1028, 10000)
  splash:go(args.url)
  local scroll_to = splash:jsfunc("window.scrollTo")
  scroll_to(0, 2000)
  splash:wait(5)
  return {png=splash:png()}
end

方法2

function main(splash, args)
  splash:set_viewport_size(1028, 10000)
  splash:go(args.url)
  splash.scroll_position={0,2000}
  splash:wait(5)
  return {png=splash:png()}
end

爬虫实现下滑加载

    def start_requests(self):
        script = """
                function main(splash)
                    splash:set_viewport_size(1028, 10000)
                    splash:go(splash.args.url)
                    local scroll_to = splash:jsfunc("window.scrollTo")
                    scroll_to(0, 2000