Python3爬虫反反爬之搞定同程旅游加密参数 antitoken

最新推荐文章于 2024-07-03 23:32:03 发布

Python新世界

最新推荐文章于 2024-07-03 23:32:03 发布

阅读量785

点赞数

文章标签： python python编程 python爬虫网络爬虫编程语言

本文链接：https://blog.csdn.net/weixin_46089319/article/details/105440246

版权

本文介绍了如何应对和解决使用JavaScript加密的反爬策略，以同程旅游网站为例，详细解析了antitoken的加密过程。通过站点分析，找到了list-newest.js文件中获取antitoken的方法，逐步调试确定了加密参数n、i、o、r的生成方式，并实现了加密方法，以便在Python爬虫中复用。

摘要由CSDN通过智能技术生成

一、前言简介

在现在各个网站使用的反爬措施中，使用 JavaScript 加密算是很常用的了，通常会使用 JavaScript 加密某个参数，例如 token 或者 sign。在这次的例子中，就采取了这种措施来反爬，使用 JavaScript 加密了一个参数 antitoken，而本篇博客要写的就是如何应对和解决的。

二、站点分析

本次爬取的站点链接为： https://www.ly.com/hotel/beijing53/?spm0=10002.2001.1.0.1.4.17。

等页面加载完毕后打开开发者工具，切换到 XHR 选项，然后找到如下请求：

注意到参数中有一个 antitoken，这是一个加密后的字符串，那要怎么得到这个加密参数 antitoken 呢？

三、破解步骤

1.搜索加密方法

在开发者工具中全局搜索 antitoken，找到名为 list-newest.js 的 JS 文件，切换到 Sources 页面，找到这个 JS 文件并打开，点击左下角的 “{}” 进行格式化便于我们进行查阅，如下图：

在这个 JS 文件中搜索 antitoken，通过查找可以定位到一个获取 antitoken 的方法，具体代码如下：

e.getantitoken = function() {     var t = $.cookie("wangba");     t && void 0 !== t || (t = (new Date).getTime().toString(),     $.cookie("wangba", t, {         path: "/",         domain: "ly.com"     }));     return (0,     r["default"])(t)  }  ;

可以看到先是要从 Cookie 中获取一个名为 wangba 字段的值，wangba ？网吧？谁知道呢。如果 wangba 为空，则重新创建一个，而创建的其实就是一个十三位的时间戳。

var t = $.cookie("wangba"); t && void 0 !== t || (t = (new Date).getTime().toString(),

在 return 那一行打上断点，然后刷新页面进行调试，跳转到 return 返回的方法，如下图：

为了知道 antitoken 是怎么生成的，我们需要知道这个函数里各个参数 n，i，o，r 的含义，所以又得继续打断点进行调试了。

首先是 n，通过代码知道 n = a(30)，打断点后找到 n 参数对应的代码如下：

n = {
        rotl: function(t, e) {
            return t << e | t >>> 32 - e
        },
        rotr: function(t, e) {
            return t << 32 - e | t >>> e
        },
        endian: function(t) {
            if (t.constructor == Number)
                return 16711935 & n.rotl(t, 8) | 4278255360 & n.rotl(t, 24);
            for (var e = 0; e < t.length; e++)
                t[e] = n.endian(t[e]);
            return t
        },
        randomBytes: function(t) {
            for (var e = []; t > 0; t--)
                e.push(Math.floor(256 * Math.random()));
            return e
        },
        bytesToWords: function(t) {
            for (var e = [], a = 0, n = 0; a < t.length; a++,
            n += 8)
                e[n >>> 5] |= t[a] << 24 - n % 32;
            return e
        },
        wordsToBytes: function(t) {
            for (var e = [], a = 0; a < 32 * t.length; a += 8)
                e.push(t[a >>> 5] >>> 24 - a % 32 & 255);
            return e
        },
        bytesToHex: f