Python爬虫神器pyppeteer，对 js 加密降维打击

爬虫神器pyppeteer，对 js 加密降维打击

pyppeteer 是对无头浏览器 puppeteer的 Python 封装。无头浏览器广泛用于自动化测试，同时也是一种很好地爬虫思路。

使用 puppeteer（等其他无头浏览器）的最大优势当然是对 js 加密实行降维打击，完全无视 js 加密手段，对于一些需要登录的应用，也可以模拟点击然后保存 cookie。而很多时候前端的加密是爬虫最难攻克的一部分。当然puppeteer也有劣势，最大的劣势就是相比面向接口爬虫效率很低，就算是无头的chromium，那也会占用相当一部分内存。另外额外维护一个浏览器的启动、关闭也是一种负担。

这篇文章我们来写一个简单的 demo，爬取拼多多搜索页面的数据，最终的效果如下：

我们把所有 api 请求的原始数据保存下来：

示例 json 文件如下：

开发环境

• python3.6+

最好是 python3.7，因为asyncio在 py3.7中加入了很好用的asyncio.run()方法。

• 安装pyppeteer

如果安装有问题请去看官方文档。

python3 -m pip install pyppeteer

• 安装 chromium

你懂的，天朝网络环境很复杂，如果要用pyppeteer自己绑定的chromium，半天都下载不下来，所以我们要手动安装，然后在程序里面指定executablePath。

下载地址：www.chromium.org/getting-inv…

hello world

pyppeteer 的 hello world 程序是前往exmaple.com截个图：

import asyncio
from pyppeteer import launch

async def main():
    browser = await launch({
        # Windows 和 Linux 的目录不一样，情换成自己对应的executable文件地址
        'executablePath': '你下载的Chromium.app/Contents/MacOS/Chromium',