pyppeteer的基本语句

pyppeteer库安装

1、库安装 pip install pyppeteer
2、浏览器安装 pyppeteer-install
3、导入库 from pyppeteer import launch

运行页面

1、页面信息
browser = await launch(headless=False, userDataDir=’./userdata’)
page = await browser.newPage()
2、页面大小
await page.setViewport({‘width’: 1366, ‘height’: 768})
3、访问页面
await page.goto(“URL”)
4、页面滚动函数

引用语句：await scroll_screen(page)
5、关闭页面函数

引用语句：await page_close(browser)

内容抓取

以下图为例

1、JJ、J方法
JJ出来的需要遍历 J出来的不需要遍历
labels = await page.JJ(’.hotel_item’)
for label in labels:
#下边记得缩进
a = await label.J(’ 标签路径,如li.pic_medal > div > a’)
# 用getProperty函数获取属性值
id=await (await a[0].getProperty(‘textContent’)).jsonValue()
# class属性、绑定数据属性等用getProperty函数获取不到属性值
id = await page.evaluate(’(el) => el.getAttribute(“data-hotel”)’, a)
2、xpath方法
labels = await page.xpath("//*[@id=‘hotel_list’]/div")
for label in labels:
a = await label.xpath(".//ul[@class=‘hotel_item’]/li[@class=‘hotel_item_name’]/h2[@class=‘hotel_name’]/a")
#与上述获取方法一致
name = await (await a[0].getProperty(‘textContent’)).jsonValue()