pyppeteer很好用,动态/静态网页都可以爬取
这个本质就是selenium+Chrome,不过不用安装驱动,会自动下载,省去了驱动环境变量配置
import asyncio
from pyppeteer import launch
from bs4 import BeautifulSoup
async def main(url):
browser = await launch() # 使用pyppeteer静态/动态网页都可成功爬取
page = await browse