pyppeteer和requests简单应用

pyppeteer和requests简单应用

本文章只是分享pyppeteer技术。有些反扒网站可以使用pyppeteer库，完整代码没有分享。
获取相关开发工具软件，可以关注公众号：爬虫探索者。
发送下面图片的关键字可以获取对应软件。sql指的是Navicat。
破解教程可以参考主页其他文章。

运行环境

pip install -i https://mirrors.aliyun.com/pypi/simple pyppeteer
pip install -i https://mirrors.aliyun.com/pypi/simple requests
pip install -i https://mirrors.aliyun.com/pypi/simple lxml

开始的办法

第一次尝试的时候使用普通的requests方法，补充headers获取数据，但是发现最后获取的数据都是假的，今天正好在学习pyppeteer库就尝试了一下。

Pyppeteer的使用

launch：表示打开一个浏览器
newPage：通过返回的browser对象创建页签
setViewPort：设置显示大小
evaluateOnNewDocument：执行JavaScript代码
goto：前往某一个url地址
screenshot：请求之后的内容截图保存

主函数

headless：表示无头模式，设置为False会正常显示页面，默认为True无头模式。
userDataDir：保存登录信息。
args：设置了浏览器显示比例，可以不设置，不过显示的可能不太好看。

async def main():
    # userDataDir实现用户持久化，保存登录信息，每次运行加载
    browser = await launch(headless=False, userDataDir='./userdata', args=[f'-window-size={width}, {height}'])
    page = await browser.newPage()
    await page.setViewport({'width': width, 'height': height})
    await page.evaluateOnNewDocument('Object.defineProperty(navigator, "webdriver", {get: () => undefined})')  # 防止检测到
    await page.goto('股友url')  # 请求的地址
    await page.screenshot(path='guba.png')  # 截图查看到的信息
    await page.click('.graylink')  # 模拟点击查看更多
    await asyncio.sleep(2)  # 第一次运行延长时间，先登录
    await parse_content(await page.content())  # 调用解析协程，获取对应内容
    await browser.close()

解析响应内容

async def parse_content(content):
    html = etree.HTML(content)
    trs = html.xpath('//table[@class="secontent"]/tbody/tr')
    for tr in trs:
        code = tr.xpath('./td/a/text()')[0]
        name = tr.xpath('./td/a/text()')[1]
        current_price = tr.xpath('./td/span/text()')[0]
        die_price = tr.xpath('./td/span/text()')[1]
        zhang_price = tr.xpath('./td/span/text()')[2]
        huanshou = tr.xpath('./td[last()-1]/text()')[0]
        chengjiao = tr.xpath('./td[last()]/text()')[0]
        print(code, name, current_price, die_price, zhang_price, huanshou, chengjiao)

asyncio.get_event_loop().run_until_complete(main())