一、设置userDataDir参数问题
1、设置userDataDir的值为相对路径
如果将userDataDir
参数的值设置为相对路径,比如:userDataDir="./myUserDataDir"
,在我的pyppeteer(0.0.25)
版本中,程序将会卡在await browser.newPage()
这里,这个问题的解决办法就是将路径设置为绝对路径,有两种方案,一种是直接写明绝对路径,比如windows下为:F:\\python\\crawler\\temp
,另一种方案为使用Path模块的resolve
函数,获取绝对路径,代码如下:
from pathlib import Path
p = Path("./myUserDataDir") # 参数为你的用户数据文件夹的相对路径
browser = await launch(
headless=True,
userDataDir=p.resolve(),
)
2、设置userDataDir后,打开页面得到page后,调用page.goto()无反应
复现这个问题的代码如下,当我们将headerless设置为True
、userDataDir设置为绝对路径后出现的新问题是调用page.goto()
函数无响应了,最后会抛出一个timeout
异常。经过测试,发现所有的page调用函数均是这个情况,比如page.screenshot()
、page.title()
等等。在查看pyppeteer在github上的issue后发现这种是因cpu负载过高,内存泄漏而程序挂起。
p = Path("./myUserDataDir")
browser = await launch(
headless=True,
userDataDir=p.resolve(),
)
resp = await page.goto('https://www.weibo.com')
这是属于pyppeteer的bug,解决方法就是修改源码,直接在pyppeteer的源码launcher.py
文件中搜索options['stderr'] = subprocess.STDOUT
,并将其修改为options['stderr'] = subprocess.DEVNULL
。然后保存源码后即可解决这个问题。
3、设置userDataDie后无效
这个问题的解决办法就是使用pyppeteer帮你下载的chromium浏览器,不要单独设置executablePath
参数,然后新建一个文件夹用于存放userDataDir,设置路径的时候记得使用绝对路径。不过这样做的后果就是无法使用我们日常使用的Chrome浏览器的数据了,将其复制过来也不行,因为Chrome和Chromium不兼容。在Chrome浏览器下设置userDataDir的方法可以见这篇文章。