如何用pyppeteer获取数据，模拟登陆？

本指南适合0基础的读者一步步练习，从而上手python，有基础的可以快速浏览，了解整个思路即可。
  01

安装环境

本指南使用的是python开发环境，先用pip安装pyppeteer库

python3 -m pip install pyppeteer

详细可以参考官方github：

https://github.com/miyakogi/pyppeteer

 

02

hello world！

初次与pyppeteer见面，我们运行下最简单的爬虫代码：

#引用相关的库import asynciofrom pyppeteer import launchasync def main():    browser = await launch()    page = await browser.newPage()    #想爬取哪个页面，修改对应的url即可，    #注意timeout的设置，因为有时候网速比较慢，可以把超时的时间设得久一点。    await page.goto('https://getgetai.com',{"timeout":3*60000})    #screenshot是截屏的命令，path设置截屏后的图片保存路径跟名称    #await page.screenshot({'path': 'example.png'})    #evaluate是注入js到url的页面里，需要具备js的相关知识    result = await page.evaluate('''() => {           //获得网页的标题           var res=document.title           //把结果返回给python           return res    }''')    #打印返回的结果    print(result)await browser.close()#main是异步执行的，需要用这行代码来执行，而不是直接main()asyncio.get_event_loop().run_until_complete(main())
import asyncio
from pyppeteer import launch
async def main():
    browser = await launch()
    page = await browser.newPage()

    #想爬取哪个页面，修改对应的url即可，
    #注意timeout的设置，因为有时候网速比较慢，可以把超时的时间设得久一点。

    await page.goto('https://getgetai.com',{"timeout":3*60000})

    #screenshot是截屏的命令，path设置截屏后的图片保存路径跟名称
    #await page.screenshot({'path': 'example.png'})

    #evaluate是注入js到url的页面里，需要具备js的相关知识
    result = await page.evaluate('''() => {
           //获得网页的标题
           var res=document.title
           //把结果返回给python
           return res
    }''')
    #打印返回的结果
    print(result)

await browser.close()

#main是异步执行的，需要用这行代码来执行，而不是直接main()
asyncio.get_event_loop().run_until_complete(main())

03

获取数据，通过研究网页的接口请求方式

网上大部分的爬虫教程都介绍的是通过html的解析来获取自己想要的数据，这种方式需要写大量的html规则，而且需要非常熟悉class、id、attribute、元素直接的相对关系才能从页面上获得自己想要的数据。
目前大部分的网站数据加载都是通过接口来异步加载的，所以我们可以使用接口的方式获取数据，通过研究目标网页的接口请求，直接请求对应的接口获得结构化的数据。
那么，如何研究目标网页的接口请求呢？
打开chrome的开发者工具，点击network面板，点击XHR项，然后刷新页面，查看下面的接口，从中找到想要获取的数据。
给一个示例 ：
目标网站

https://www.todaytix.com/x/london/shows/www.todaytix.com/x/london/shows

找到目标接口：

https://api.todaytix.com/views/v2/heroList?location=2&fieldset=HeroSuperEssentials/api.todaytix.com/views/v2/heroList?location=2&fieldset=HeroSuperEssentials

对应的获取数据的js：

async function postData() {  var _url = "https://api.todaytix.com/views/v2/heroList?location=2&fieldset=HeroSuperEssentials";  return new Promise(function (resolve, reject) {       fetch(_url, {              method: 'GET',               mode: 'cors',        })       .then(response => response.json())       .then(data => {           resolve(data);       }); })};function postData() {
  var _url = "https://api.todaytix.com/views/v2/heroList?location=2&fieldset=HeroSuperEssentials";
  return new Promise(function (resolve, reject) {
       fetch(_url, {
              method: 'GET', 
              mode: 'cors', 
       })
       .then(response => response.json())
       .then(data => {
           resolve(data);
       });
 })
};

  写成python代码：

import asynciofrom pyppeteer import launchasync def main():    browser = await launch()    page = await browser.newPage()    await page.goto('https://www.todaytix.com/x/london/shows',{"timeout":3*60000})    result = await page.evaluate('''async () => {            async function postData() {                var _url = "https://api.todaytix.com/views/v2/heroList?location=2&fieldset=HeroSuperEssentials";                return new Promise(function (resolve, reject) {                    fetch(_url, {                        method: 'GET',                        mode: 'cors',                     })                    .then(response => response.json())                    .then(data => {                        resolve(data);                    });                })            };        var res=await postData()        return res    }''')    print(result)await browser.close()asyncio.get_event_loop().run_until_complete(main())
from pyppeteer import launch
async def main():
    browser = await launch()
    page = await browser.newPage()
    await page.goto('https://www.todaytix.com/x/london/shows',{"timeout":3*60000})
    result = await page.evaluate('''async () => {
            async function postData() {
                var _url = "https://api.todaytix.com/views/v2/heroList?location=2&fieldset=HeroSuperEssentials";
                return new Promise(function (resolve, reject) {
                    fetch(_url, {
                        method: 'GET',
                        mode: 'cors', 
                    })
                    .then(response => response.json())
                    .then(data => {
                        resolve(data);
                    });
                })
            };
        var res=await postData()
        return res
    }''')
    print(result)

await browser.close()
asyncio.get_event_loop().run_until_complete(main())

04

模拟登陆，以印象笔记为例

pyppeteer还可以可视化的调试，只要在launch中通过headless的设置，即可开启可视化的模式。这里可以了解下无头浏览器的相关知识。
什么是无头浏览器headless browser，简单来说是一种没有可视化界面的web浏览器。 做前端开发和web测试的同学对 Headless都不会陌生，它可以直接运行在服务端，向客户端提供服务接口。浏览器该有的功能它都有，只是没有界面而已。
以下为代码，记得把   user_name 跟   pass_word 修改为自己的。  

import asynciofrom pyppeteer import launchasync def main():       user_name='your username'       pass_word='your password'       #无头模式关闭       browser = await launch({'headless': False})       page = await browser.newPage()       await page.goto('https://app.yinxiang.com/Login.action',{"timeout":14*60000})       await page.type("#username",user_name)       await page.click("#loginButton")       await page.waitFor(3000)       await page.type("#password",pass_word)       await page.click("#loginButton")       result = await page.evaluate('''() => {              var res=document.title              return res       }''')       print(result)#await browser.close()asyncio.get_event_loop().run_until_complete(main())
from pyppeteer import launch
async def main():
       user_name='your username'
       pass_word='your password'
       #无头模式关闭
       browser = await launch({'headless': False})
       page = await browser.newPage()
       await page.goto('https://app.yinxiang.com/Login.action',{"timeout":14*60000})

       await page.type("#username",user_name)
       await page.click("#loginButton")
       await page.waitFor(3000)
       await page.type("#password",pass_word)
       await page.click("#loginButton")
       result = await page.evaluate('''() => {
              var res=document.title
              return res
       }''')
       print(result)

#await browser.close()
asyncio.get_event_loop().run_until_complete(main())

 
更多的内容可以在作者的知识星球进一步交流