pyppeteer爬取动态加载的网站

最新推荐文章于 2022-01-05 23:22:07 发布

Byfar_

最新推荐文章于 2022-01-05 23:22:07 发布

阅读量1k

点赞数

分类专栏： py 测试

本文链接：https://blog.csdn.net/weixin_42107267/article/details/103071815

版权

本文介绍了如何利用pyppeteer库来爬取那些依赖JavaScript动态加载内容的网站。pyppeteer是基于Chromium的，可以模拟浏览器行为，从而获取完整页面的数据。此外，还探讨了pyppeteer与Scrapy框架的整合方法，提供了一些整合的实战链接和教程，帮助读者更好地进行动态网页的爬虫开发。

摘要由CSDN通过智能技术生成

https://blog.csdn.net/mouday/article/details/89574718

https://blog.csdn.net/ywdhzxf/article/details/94649327

https://www.jianshu.com/p/fd9eb385a70e scrapy整合

https : //github.com/Python3WebSpider/ScrapyPyppeteer scrapy整合

https://www.cnblogs.com/dyfblog/p/10170959.html 笔记

# -*- coding: utf-8 -*-

import asyncio
from pyppeteer import launch
from pyquery import PyQuery as pq



# 示例一： 渲染页面
async def crawl_page():
     brower = await launch({
        "headless": False,  # 设置模式, 默认无头
        'userDataDir': r'C:\DataDir',  # 设置缓存目录
                            'args': 
                                [
                                    '--no-sandbox',
                                    '--disable-infobars',  # 隐藏 ‘浏览器正在被监控提示条’
                                ], 'dumpio': True   # 防止阻塞
    })
    # 打开新页面
    page = await brower.newPage()

    # 设置页面视图大小
    await page.setViewport(viewport={'width': 1280, 'height': 800})

    # 是否启用JS，enabled设为False，则无渲染效果
    await page.setJavaScriptEnabled(enabled