拼多多搜索页面html,爬虫神器pyppeteer，对 js 加密降维打击

参考文章：html

pyppeteer 是对无头浏览器 puppeteer的 Python 封装。无头浏览器普遍用于自动化测试，同时也是一种很好地爬虫思路。前端

使用 puppeteer(等其余无头浏览器)的最大优点固然是对 js 加密实行降维打击，彻底无视 js 加密手段，对于一些须要登陆的应用，也能够模拟点击而后保存 cookie。而不少时候前端的加密是爬虫最难攻克的一部分。固然puppeteer也有劣势，最大的劣势就是相比面向接口爬虫效率很低，就算是无头的chromium，那也会占用至关一部份内存。另外额外维护一个浏览器的启动、关闭也是一种负担。python

这篇文章咱们来写一个简单的 demo，爬取拼多多搜索页面的数据，最终的效果以下：git

咱们把全部 api 请求的原始数据保存下来：github

示例 json 文件以下：web

开发环境

python3.6+

最好是 python3.7，由于asyncio在 py3.7中加入了很好用的asyncio.run()方法。chrome

安装pyppeteer

若是安装有问题请去看官方文档。json

python3 -m pip install pyppeteer

复制代码

安装 chromium

你懂的，天朝网络环境很复杂，若是要用pyppeteer本身绑定的chromium，半天都下载不下来，因此咱们要手动安装，而后在程序里面指定executablePath。api

hello world

pyppeteer 的 hello world 程序是前往exmaple.com截个图：

import asyncio

from pyppeteer import launch

async def main():

browser = await launch({

# Windows 和 Linux 的目录不同，情换成本身对应的executable文件地址

'executablePath': '你下载的Chromium.app/Contents/MacOS/Chromium',

})

page = await browser.newPage()

await page.goto('http://example.com')

await page.screenshot({'path': 'example.png'})

await browser.close()

asyncio.get_event_loop().run_until_complete(main())

复制代码

pyppeteer 重要接口介绍

pyppeteer.launch

launch 浏览器，能够传入一个字典来配置几个options࿰