使用pyppeteer爬虫时,使用函数
page = await browser.newPage()
await page.goto(url)
时,发现页面已经跳转到了链接所在位置,但是还是报错:
pyppeteer.errors.TimeoutError: Navigation Timeout Exceeded: 30000 ms exceeded.
原因在于,执行速度太快,没有反应过来,再跳转之前增加延时可以解决
from asyncio import sleep
import random
def sleep_time():
return 1+random.random() * 2
page2 = await browser.newPage()
await sleep(sleep_time())
await page2.goto(detaillink)