一、概述
使用Reuqests-html的render函数,它会在用户目录(默认是~/.pyppeteer/)中下载一个chromium,然后用它来执行JS代码。
执行之后,会下载chromium
[W:pyppeteer.chromium_downloader] start chromium download. Download may take a few minutes.
但是速度特别慢,几个小时都不一定能好。长时间允许会导致连接失败。
二、手动下载chromium
创建一个.py 文件 粘贴以下内容
import pyppeteer.chromium_downloader print('默认版本是:{}'.format(pyppeteer.__chromium_revision__)) print('可执行文件默认路径:{}'.format(pyppeteer.chromium_downloader.chromiumExecutable.get('win64'))) print('win64平台下载链接为:{}'.format(pyppeteer.chromium_downloader.downloadURLs.get('win64')))
执行输出:
默认版本是:588429 可执行文件默认路径:C:\Users\xiao\AppData\Local\pyppeteer\pyppeteer\local-chromium\588429\chrome-win32\chrome.exe win64平台下载链接为:https://storage.googleapis.com/chromium-browser-snapshots/Win_x64/588429/chrome-win32.zip
注意:输出结果,可能和我的不一样,请根据实际情况来。
将上面的复制一下,使用迅雷下载,大概有130M,几分钟就下载好了。
将下载好的chrome-win32.zip解压,得到chrome-win32目录
注意:上面的路径:C:\Users\xiao\AppData\Local\pyppeteer\pyppeteer\local-chromium\588429
是不存在的,需要自己手动创建一下。其实只需要创建588429即可。
将chrome-win32目录复制到588429里面即可。
最终只要:
C:\Users\xiao\AppData\Local\pyppeteer\pyppeteer\local-chromium\588429\chrome-win32\chrome.exe
存在即可
最后再次执行你的爬虫程序,就不会提示下载chromium了
本文参考链接: