pyppeteer(一)--简介

最新推荐文章于 2024-10-09 17:39:15 发布

沁心之贝

最新推荐文章于 2024-10-09 17:39:15 发布

阅读量403

点赞数

分类专栏： Python 文章标签： python

本文链接：https://blog.csdn.net/zc520yzy/article/details/105042794

版权

Python 专栏收录该内容

22 篇文章 1 订阅

订阅专栏

https://github.com/GoogleChrome/puppeteer
一个google基于node封装的chromium控制包，功能跟浏览器F12差不多，或者说更加强大
然后，就有了今天的主角：
https://github.com/miyakogi/pyppeteer
基于async/await语法，只有py3的版本

安装环境

本指南使用的是python开发环境，先用pip安装pyppeteer库

python3 -m pip install pyppeteer

详细可以参考官方github：
https://github.com/miyakogi/pyppeteer

打开网页并截图

import asyncio
from pyppeteer import launch

async def main():
    params = {
        'headless': False,  # 无界面模式
        'dumpio': True,
        'autoClose': False,
        # 'devtools': True,             			# 开发者模式
        # 'executablePath': '',     #指定路径
        'userDataDir': './userdata',  # 设置用户目录，登录关闭浏览器无需重新登陆(过期除外)
        'args': ['--no-sandbox', '--window-size=1366,768', '--disable-infobars']
    }
    browser = await launch(params)
    
    # 会打开两个Tab 可以通过 await browser.pages() 来选择哪个标签
    page = await browser.newPage()  
    
    #设置可视界面大小(不设置会出现白边)
    await page.setViewport({'width': 1366, 'height': 768})
    
    # 是否启用JS，enabled设为False，则无渲染效果
    #await page.setJavaScriptEnabled(enabled=True)
    
    # 设置浏览器UA
    await page.setUserAgent('Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.122 Safari/537.36')
    
    await page.goto('http://baidu.com')
    
    await page.waitFor(3000)
    #截屏
    await page.screenshot({'path': 'baidu.png'})
    
    # 获得网页的标题(执行js语句)
    js_title = await page.evaluate('''() => {
               var res=document.title
               //把结果返回给python
               return res
        }''')
    # 获得网页的标题
    title = await page.title()
    
    # 获取网页内容
    html_page = await page.content()
    
    print("页面cookie", await page.cookies())
    print("页面标题", title)
    print("页面内容", html_page)
    await browser.close()


asyncio.get_event_loop().run_until_complete(main())

第一次运行会安装谷歌Chromium浏览器，很慢耐心等待

from pyppeteer import chromium_downloader
print(chromium_downloader.get_url())
print(chromium_downloader.chromiumExecutable.get('win64'))
print(chromium_downloader.check_chromium())
第一个是下载地址
第二个是你本地的默认安装路径
第三个是校验是否已经成功安装了chromium环境

pyppeteer 解析方式

page.querySelector()  # 选择器
page.querySelectorAll()
page.xpath()  # xpath  表达式
# 简写方式为：
Page.J()
Page.JJ()
Page.Jx()