小白尝试某程机票信息爬取

实训课需要机票数据集，网上没有，所以我选择爬取数据

此过程可谓经历的九九八十一难，也参考了不少大佬的文章，在此特别记录一下

弯路不多说，我直接讲成功的方法

找到请求url

通过控制台，最后确认下面的 url 的响应数据为机票信息

然后我们看一下请求头，发现需要 cookie 是固定的，sign ，token 和 transactionID 是算法计算得到的，下面的文章里有代码提到了 sign 和 transactionID 的处理，站内也有很多佬已经给出了答案，这里不过多叙述
吾爱破解网站的大佬发的文章

token 计算

最重要的是 token 的计算，通过搜索，发现赋值给它的是 i，打个断点调试，再通过堆栈分析，发现 i 的值就是 token

而 i 是由 window.signature 函数赋值的，所以定位这个函数

接下来我们确定一下是不是这个函数生成的 token，新建一个代码段，把上面函数的所有代码复制到该文件，再添加一段控制台输出，右键运行，发现控制台输出了类似的 token，所以就是这个函数计算出来的 token

把这段函数代码复制到代码编辑器，我这里用的 pycharm ，没有配置 node 的话记得配置一下

接下来有两种做法：

1. 破解算法：就是断点写日志插桩，分析算法怎么来的，B站上有很多这样的教程，可以学习一下。我是小白，没做出来，而且这段函数代码足足 500 行，简直是出生！
2. 补环境：就是模拟浏览器的环境，来跑上面的函数，因为浏览器能跑，而用 node 跑是不行的，因为缺少一系列环境。这个相对简单，所以下面介绍这种方法

补环境

接下来又有两种做法：

1. 手动补：就是用代码编辑器跑这个函数，报啥错加啥，B站上有很多这样的教程，可以学习一下。我是小白，没做出来
2. 工具补：这就不得不提到 V 神的插件 v_jstools ，github 上有源码下载下来，拖到谷歌浏览器里安装，记得打开浏览器开发者模式，不然无法安装。这个相对简单，所以下面介绍这种方法

按照如下勾选配置

再打开配置页面，把最下面所有的都勾上

然后清除缓存，将断点打在那个函数上，重新来调试一下，直到 加载出票价信息为止

期间只需要一直点下一步就可以

当某程票价信息加载出来后，退出调试，然后点击生成临时环境，就会自动复制到剪贴板

然后把这些环境代码粘贴到代码编辑器那个函数的上面，我这里生成了大概1700行的样子，里面有很多无用得完东西，咱们不管他，

直接运行补完后的代码，此时要是还报错，就把对应的错误行删除，完全没有影响！！！

再最后自己写个函数，方便 python 调用输出的 token

然后用 python 的 execjs 库运行 js 脚本，注意编码格式

with open('signture.js','r',encoding='utf-8') as f:
    js = f.read()
token = execjs.compile(js).call("getToken")

此时可能会报错，说 gbk 不能识别某个字符之类的，那就再加上下面的代码

import subprocess
from functools import partial
subprocess.Popen = partial(subprocess.Popen, encoding="utf-8")

然后把 token 传给请求头，就可以美美爬取代码啦（我的主体代码用的就是上面吾爱破解大佬给的代码，再此基础上传入自己浏览器的 cookie ，useragent 和 token 就行啦）

结语

原谅我无法给出源码，律师函警告捏。

建议爬取的时候设置随机 sleep 时间大于1 秒，不然频繁爬取会弹出登录界面导致拦截爬虫。

最后有什么问题可以私信我，我看到就会回复的，加油