python爬虫中pyppeteer是什么?
Pyppetter就是类似于在谷歌浏览器中执行动作的时候,进行的网页渲染,就是依赖在Chromium浏览器中执行的,不需要繁琐的环境配置,就可以支持各种异步操作,能够大大提高我们的工作效率,因此也经常被用来做各种爬虫类型执行,好啦,下面一起来详细了解下使用问题吧。
安装:
pip3 install pyppeteer
命令测试:
>>> import pyppeteer
Pyppeteer抓取页面:
import asyncio
from pyppeteer import launch
from pyquery import PyQuery as pq
async def main():
browser = await launch()
page = await browser.newPage()
await page.goto('http://quotes.toscrape.com/js/')
doc = pq(await page.content())
print('Quotes:', doc('.quote').length)
await browser.close()
asyncio.get_event_loop().run_until_complete(main())
运行结果:
Quotes: 10
好啦,以上就是pyppeteer的基本以及实例用法了,多多浏览上述信息,希望可以帮助大家学习。