python+playwright 学习-88 禁止加载图片等资源

最新推荐文章于 2024-06-01 21:03:11 发布

上海-悠悠

最新推荐文章于 2024-06-01 21:03:11 发布

阅读量470

点赞数 6

分类专栏： playwright 文章标签： playwright

本文链接：https://blog.csdn.net/qq_27371025/article/details/137747102

版权

playwright 专栏收录该内容

92 篇文章 44 订阅 ¥19.90 ¥99.00

订阅专栏

超级会员免费看

本文介绍如何在使用Playwright进行网页抓取时，通过禁止加载图片和其他特定资源来提高爬虫效率。详细讲解了两种方法，包括根据图片URL后缀禁用和按资源类型禁用，如document、stylesheet、script、image、font等。

摘要由CSDN通过智能技术生成

前言

对于爬虫的小伙伴来说，有时候只需抓取页面的文本，不用加载图片，可以加快操作页面速度，那么我们可以设置禁止加载图片等资源。

禁止图片加载

根据url地址的后缀，图片资源后缀一般是png,jpg,jpeg,gif等格式。

from playwright.sync_api import sync_playwright


with sync_playwright() as p:
    browser = p.chromium.launch(headless=False)
    context = browser.new_context()
    page = context.new_page()

    # 方法1 根据url地址后缀
    page.route("**/*.{png,jpg,jpeg,gif}", lambda route: route.abort())

    page.goto('https://www.cnblogs.com/yoyoketang')
    page.pause()

运行效果如下，会看到图片没加载