python获取渲染之后的网页_使用Pyppeteer抓取渲染网页

Pyppeteer是Puppeteer的非官方Python支持，Puppeteer是一个无头JavaScript的基于Chrome/Chromium浏览器自动化库，可以用于对渲染网页的抓取。

比较了Pyppeteer和Selenium，感觉还是Selenium在函数的语义上更清晰。

安装

pip install pyppeteer

用今日头条练习一下

import asyncio

from pyppeteer import launch

async def main():

# headless参数设为False，则变成有头模式

browser = await launch(

# headless=False

)

page = await browser.newPage()

# 设置页面视图大小

await page.setViewport(viewport={'width':1280, 'height':800})

# 是否启用JS，enabled设为False，则无渲染效果

await page.setJavaScriptEnabled(enabled=True)

await page.goto('https://www.toutiao.com/')

# 打印页面cookies

print(await page.cookies())

# 打印页面文本

print(await page.content())

# 打印当前页标题

print(aw