使用pyppeteer 下载chromium 报错 或速度慢

一、概述

使用Reuqests-html的render函数,它会在用户目录(默认是~/.pyppeteer/)中下载一个chromium,然后用它来执行JS代码。

 

执行之后,会下载chromium 

[W:pyppeteer.chromium_downloader] start chromium download.
Download may take a few minutes.

但是速度特别慢,几个小时都不一定能好。长时间允许会导致连接失败。

 

二、手动下载chromium

创建一个.py 文件 粘贴以下内容

import pyppeteer.chromium_downloader
print('默认版本是:{}'.format(pyppeteer.__chromium_revision__))
print('可执行文件默认路径:{}'.format(pyppeteer.chromium_downloader.chromiumExecutable.get('win64')))
print('win64平台下载链接为:{}'.format(pyppeteer.chromium_downloader.downloadURLs.get('win64')))

执行输出:

默认版本是:588429
可执行文件默认路径:C:\Users\xiao\AppData\Local\pyppeteer\pyppeteer\local-chromium\588429\chrome-win32\chrome.exe
win64平台下载链接为:https://storage.googleapis.com/chromium-browser-snapshots/Win_x64/588429/chrome-win32.zip

注意:输出结果,可能和我的不一样,请根据实际情况来。

 

将上面的复制一下,使用迅雷下载,大概有130M,几分钟就下载好了。

将下载好的chrome-win32.zip解压,得到chrome-win32目录

 

注意:上面的路径:C:\Users\xiao\AppData\Local\pyppeteer\pyppeteer\local-chromium\588429

是不存在的,需要自己手动创建一下。其实只需要创建588429即可。

将chrome-win32目录复制到588429里面即可。

最终只要:

C:\Users\xiao\AppData\Local\pyppeteer\pyppeteer\local-chromium\588429\chrome-win32\chrome.exe

存在即可

 

最后再次执行你的爬虫程序,就不会提示下载chromium了

 

本文参考链接:

https://www.jianshu.com/p/1c4666b0a830

  • 6
    点赞
  • 6
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值