pyppeteer并发(多开)教程

最新推荐文章于 2024-07-27 20:12:28 发布

Sareyer

最新推荐文章于 2024-07-27 20:12:28 发布

阅读量3.1k

点赞数 2

分类专栏： python 文章标签： python puppet

本文链接：https://blog.csdn.net/weixin_44029501/article/details/106547785

版权

本文详细介绍了如何使用pyppeteer进行并发操作，通过设置launch参数实现浏览器多开，提升自动化测试和爬虫项目的效率。涵盖关键配置选项，助力优化pyppeteer的性能。

摘要由CSDN通过智能技术生成

async def run():
    page = await browser.newPage()
    # 设置页面内容显示大小
    await page.setViewport({'width': 1920, 'height': 1080})
    # 禁止加载JavaScript，可提高加载速度，视情况确定True/False，
    await page.setJavaScriptEnabled(enabled=False)
    # 运行js来修改window.navigator.webdriver属性值，绕过webdriver检测
    await page.evaluateOnNewDocument('Object.defineProperty(navigator, "webdriver", {get: () => undefined})')
    # timeout修改默认时间，否则报错 Navigation Timeout Exceeded: 30000 ms exceeded.
    await page.goto(url, timeout=100000)
    # 强制等待
    # await asyncio.sleep(10)
    # 获取网页源码
    res = await page.content()
    # 自行添加解析方法
    await parse(res)


async def main():
	# 将浏览器设为全局变量
    global browser
    # launch参数配置可参考文末链接
    browser = await launch(headless=False, ignoreHTTPSErrors=True, dumpio=True,
                           args=["--disable-infobars", "--start-maximized",