playwright图片爬取到本地

from playwright.sync_api import sync_playwright


def save_image_sync(url, path):
    with sync_playwright() as p:
        browser = p.chromium.launch()
        page = browser.new_page()
        page.goto(url)

        # 假设图片在第一个 <img> 标签中
        img_handle = page.query_selector('img')
        img_src = img_handle.get_attribute('src')

        # 下载图片
        if img_src:
            response = page.request.get(img_src)
            with open(path, 'wb') as f:
                f.write(response.body())
            print(f'图片已保存到 {path}')

        browser.close()


if __name__ == '__main__':
    url = 'https://image.baidu.com/'  # 目标网页
    path = r"C:\Users\MR\Desktop\local_image.png"  # 保存路径
    save_image_sync(url, path)

以下是一些可以提高 PythonPlaywright 爬取速度的方法: 1. 异步并发爬取:使用 asyncio 库实现异步并发爬取,可以大大提高爬取速度。上面我已经给出了一个简单的示例代码,你可以根据实际需求进行修改和扩展。 2. 禁用图片和 CSS:在爬取页面时,可以禁用图片和 CSS,减少网络请求和页面渲染的时间,从而提高爬取速度。可以通过在 `page.set_request_interception` 方法中设置 `handled` 参数为 False,来禁用图片和 CSS 的网络请求。示例代码如下: ```python async def intercept_request(request): if (request.resource_type == 'image' or request.resource_type == 'stylesheet'): await request.abort() else: await request.continue_() async def scrape_page(browser: Playwright, url: str) -> str: page = await browser.new_page() await page.set_request_interception(True) page.on('request', intercept_request) await page.goto(url) content = await page.content() await page.close() return content ``` 3. 使用 headless 模式:在爬取页面时,可以使用 headless 模式,减少页面渲染的时间,从而提高爬取速度。可以通过在 `browser_type.launch` 方法中设置 `headless` 参数为 True 来开启 headless 模式。 ```python async with async_playwright() as p: browser = await p.chromium.launch(headless=True) ``` 4. 使用代理:在爬取页面时,可以使用代理,避免被目标网站屏蔽 IP,从而提高爬取速度。可以通过在 `browser_type.launch` 方法中设置 `proxy` 参数来使用代理。示例代码如下: ```python async with async_playwright() as p: browser = await p.chromium.launch(proxy={"server": "http://127.0.0.1:8080"}) ``` 以上是一些提高 PythonPlaywright 爬取速度的方法,你可以根据实际情况进行选择和组合。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值