python爬虫js逆向-某国观鸟记录中心活动报告-数据（加密参数逆向+数据aes解密）

最新推荐文章于 2024-06-13 23:55:30 发布
最新推荐文章于 2024-06-13 23:55:30 发布
阅读量1.4k 收藏 1
点赞数
分类专栏： js逆向 文章标签： python 爬虫 javascript
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/akkkk0/article/details/133843711
版权

今天我们来爬取观鸟：中国观鸟记录中心活动报告，的数据：
在这里插入图片描述

1.抓包：

发现目标url：https://api.birdreport.cn/front/record/activity/search
及可疑请求头参数：三个
在这里插入图片描述
携带参数：
在这里插入图片描述

2.分析：

我们发现，携带的参数不好入手！
但是我们知道，url携带的可变加密参数，百分之99是通过浏览器生成某个随机值（如时间戳），然后结合该随机值与其他参数进行运算，最终得到一个可变的加密参数。

所以我们可以合理推测：携带的可疑请求头参数中应该至少有哪一个参与了加密运算。
我们先尝试搜索Timestamp
定位到可疑位置：发现是使用了eval进行了反爬
在这里插入图片描述
我们将eval内的代码复制出来，在控制台中查看真实代码：
在这里插入图片描述

// eval（）出来的源码：
function getUuid() {
    var s = [];
    var a = "0123456789abcdef";
    for (var i = 0; i < 32; i++) {
        s[i] = a.substr(Math.floor(Math.random() * 0x10), 1)
    }
    s[14] = "4";
    s[19] = a.substr((s[19] & 0x3) | 0x8, 1);
    s[8] = s[13] = s[18] = s[23];
    var b = s.join("");
    return b
}
function sort_ASCII(a) {
    var b = new Array();
    var c = 0;
    for (var i in a) {
        b[c] = i;
        c++
    }
    var d = b.sort();
    var e = {};
    for (var i in d) {
        e[d[i]] = a[d[i]]
    }
    return e
}
function url2json(a) {
    var b = /^[^\\?]+\\?([\\w\\W]+)$/
      , reg_para = /([^&=]+)=([\\w\\W]*?)(&|$|#)/g
      , arr_url = b.exec(a)
      , ret = {};
    if (arr_url && arr_url[1]) {
        var c = arr_url[1], result;
        while ((result = reg_para.exec(c)) != null) {
            ret[result[1]] = result[2]
        }
    }
    return ret
}
function dataTojson(a) {
    var b = [];
    var c = {};
    b = a.split('&');
    for (var i = 0; i < b.length; i++) {
        if (b[i].indexOf('=') != -1) {
            var d = b[i].split('=');
            if (d.length == 2) {
                c[d[0]] = d[1]
            } else {
                c[d[0]] = ""
            }
        } else {
            c[b[i]] = ''
        }
    }
    return c
}
const serialize = function(a) {
    var b = [];
    for (var p in a)
        if (a.hasOwnProperty(p) && a[p]) {
            b.push(encodeURIComponent(p) + '=' + encodeURIComponent(a[p]))
        }
    return b.join('&')
};
var paramPublicKey = "MIGfMA0GCSqGSIb3DQEBAQUAA4GNADCBiQKBgQCvxXa98E1uWXnBzXkS2yHUfnBM6n3PCwLdfIox03T91joBvjtoDqiQ5x3tTOfpHs3LtiqMMEafls6b0YWtgB1dse1W5m+FpeusVkCOkQxB4SZDH6tuerIknnmB/Hsq5wgEkIvO5Pff9biig6AyoAkdWpSek/1/B7zYIepYY0lxKQIDAQAB";

var encrypt = new JSEncrypt();
encrypt.setPublicKey(paramPublicKey);
$.ajaxSetup({
    beforeSend: function(a, b) {
        
        var c = Date.parse(new Date());
        var d = getUuid();
        var e = JSON.stringify(sort_ASCII(dataTojson(b.data || '{}')));
        b.data = encrypt.encryptUnicodeLong(e);
        var f = MD5(e + d + c);
        
        a.setRequestHeader("timestamp", c);
        a.setRequestHeader('requestId', d);
        a.setRequestHeader('sign', f)
    }
});

发现了关键词timestamp、requestId、sign！！
而且疑似 b.data = encrypt.encryptUnicodeLong(e); 可能就是携带的参数。

我们接下来尝试使用扣下来的代码，尝试能不能生成加密参数：
由于源码中使用了new JSEncrypt()、md5（）
所以我们还需要下载js第三方库：node-jsencrypt、crypto

var JSEncrypt = require("node-jsencrypt");
var crypto = require("crypto");

function getUuid() {
    var s = [];
    var a = "0123456789abcdef";
    for (var i = 0; i < 32; i++) {
        s[i] = a.substr(Math.floor(Math.random() * 0x10), 1)
    }
    s[14] = "4";
    s[19] = a.substr((s[19] & 0x3) | 0x8, 1);
    s[8] = s[13] = s[18] = s[23];
    var b = s.join("");
    return b
}
function sort_ASCII(a) {
    var b = new Array();
    var c = 0;
    for (var i in a) {
        b[c] = i;
        c++
    }
    var d = b.sort();
    var e = {};
    for (var i in d) {
        e[d[i]] = a[d[i]]
    }
    return e
}
function url2json(a) {
    var b = /^[^\\?]+\\?([\\w\\W]+)$/
      , reg_para = /([^&=]+)=([\\w\\W]*?)(&|$|#)/g
      , arr_url = b.exec(a)
      , ret = {};
    if (arr_url && arr_url[1]) {
        var c = arr_url[1], result;
        while ((result = reg_para.exec(c)) != null) {
            ret[result[1]] = result[2]
        }
    }
    return ret
}
function dataTojson(a) {
    var b = [];
    var c = {};
    b = a.split('&');
    for (var i = 0; i < b.length; i++) {
        if (b[i].indexOf('=') != -1) {
            var d = b[i].split('=');
            if (d.length == 2) {
                c[d[0]] = d[1]
            } else {
                c[d[0]] = ""
            }
        } else {
            c[b[i]] = ''
        }
    }
    return c
}
const serialize = function(a) {
    var b = [];
    for (var p in a)
        if (a.hasOwnProperty(p) && a[p]) {
            b.push(encodeURIComponent(p) + '=' + encodeURIComponent(a[p]))
        }
    return b.join('&')
};
var paramPublicKey = "MIGfMA0GCSqGSIb3DQEBAQUAA4GNADCBiQKBgQCvxXa98E1uWXnBzXkS2yHUfnBM6n3PCwLdfIox03T91joBvjtoDqiQ5x3tTOfpHs3LtiqMMEafls6b0YWtgB1dse1W5m+FpeusVkCOkQxB4SZDH6tuerIknnmB/Hsq5wgEkIvO5Pff9biig6AyoAkdWpSek/1/B7zYIepYY0lxKQIDAQAB";
var encrypt = new JSEncrypt();
encrypt.setPublicKey(paramPublicKey);

//修改代码：
function functionget_headers(a, b){
        var c = Date.parse(new Date());
        var d = getUuid();
        var e = JSON.stringify(sort_ASCII(dataTojson(b || '{}')));
        //导包测试
        b = encrypt.encryptUnicodeLong(e);
        //var f = MD5(e + d + c);
        var f = crypto.createHash("md5").update(e + d + c).digest('hex');
        return f

};
console.log(functionget_headers('123456','123456'))

发现可以运行了：
在这里插入图片描述

但是我们不确定这个是不是符合，且该代码并不在浏览器源码中，没办法断点测试

我们注意到源码中有：$.ajaxSetup
相当于aiax的拦截器，每一个ajax请求都要走这里
那么我们可以尝试进入ajax ——> 因为当运行ajax的时候，会调用之前的Ajax设置。
进入：
在这里插入图片描述

搜：beforesend
在这里插入图片描述
进入：
在这里插入图片描述
经过测试：确定就是这里
且拿到了e ——> 经过加密之后，就是url携带的参数
在这里插入图片描述

3.整合代码：

//看鸟.js：
var JSEncrypt = require("node-jsencrypt");
var crypto = require("crypto");

function getUuid() {
    var s = [];
    var a = "0123456789abcdef";
    for (var i = 0; i < 32; i++) {
        s[i] = a.substr(Math.floor(Math.random() * 0x10), 1)
    }
    s[14] = "4";
    s[19] = a.substr((s[19] & 0x3) | 0x8, 1);
    s[8] = s[13] = s[18] = s[23];
    var b = s.join("");
    return b
}
function sort_ASCII(a) {
    var b = new Array();
    var c = 0;
    for (var i in a) {
        b[c] = i;
        c++
    }
    var d = b.sort();
    var e = {};
    for (var i in d) {
        e[d[i]] = a[d[i]]
    }
    return e
}
function url2json(a) {
    var b = /^[^\\?]+\\?([\\w\\W]+)$/
      , reg_para = /([^&=]+)=([\\w\\W]*?)(&|$|#)/g
      , arr_url = b.exec(a)
      , ret = {};
    if (arr_url && arr_url[1]) {
        var c = arr_url[1], result;
        while ((result = reg_para.exec(c)) != null) {
            ret[result[1]] = result[2]
        }
    }
    return ret
}
function dataTojson(a) {
    var b = [];
    var c = {};
    b = a.split('&');
    for (var i = 0; i < b.length; i++) {
        if (b[i].indexOf('=') != -1) {
            var d = b[i].split('=');
            if (d.length == 2) {
                c[d[0]] = d[1]
            } else {
                c[d[0]] = ""
            }
        } else {
            c[b[i]] = ''
        }
    }
    return c
}
const serialize = function(a) {
    var b = [];
    for (var p in a)
        if (a.hasOwnProperty(p) && a[p]) {
            b.push(encodeURIComponent(p) + '=' + encodeURIComponent(a[p]))
        }
    return b.join('&')
};
var paramPublicKey = "MIGfMA0GCSqGSIb3DQEBAQUAA4GNADCBiQKBgQCvxXa98E1uWXnBzXkS2yHUfnBM6n3PCwLdfIox03T91joBvjtoDqiQ5x3tTOfpHs3LtiqMMEafls6b0YWtgB1dse1W5m+FpeusVkCOkQxB4SZDH6tuerIknnmB/Hsq5wgEkIvO5Pff9biig6AyoAkdWpSek/1/B7zYIepYY0lxKQIDAQAB";
var encrypt = new JSEncrypt();
encrypt.setPublicKey(paramPublicKey);

//原先的例参a并没有用
function get_headers(b) {
    var c = Date.parse(new Date());
    var d = getUuid();
    
    var e = JSON.stringify(sort_ASCII(dataTojson(b || '{}')));
    
    b = encrypt.encryptUnicodeLong(e); 
    var f = crypto.createHash("md5").update(e + d + c).digest('hex');

    return {
        "headers": {
            timestamp: c +"",
            requestId: d,
            sign: f
        },
        "data": b
    }
}

//从浏览器中得知b是数据
//var b = "city=&ctime=&district=&endTime=&limit=20&mode=0&outside_type=0&page=4&pointname=&province=%E9%9D%92%E6%B5%B7%E7%9C%81&serial_id=&startTime=&state=&taxonid=&taxonname=&username="

//console.log(get_headers(b))

在这里插入图片描述

python代码：

import subprocess
from functools import partial
subprocess.Popen = partial(subprocess.Popen, encoding="utf-8")

import execjs
import requests
import json
from urllib.parse import urlencode, quote

f = open("看鸟.js", mode='r', encoding="utf-8")
js_code = f.read()
f.close()

js = execjs.compile(js_code)

data = {
    "city": "",
    "ctime": "",
    "district": "",
    "endTime": "",
    "limit": "20",
    "mode": "0",
    "outside_type": "0",
    "page": "4",  //页数
    "pointname": "",
    "province": "青海省", //%E9%9D%92%E6%B5%B7%E7%9C%81 还原回来的
    "serial_id": "",
    "startTime": "",
    "state": "",
    "taxonid": "",
    "taxonname": "",
    "username": "",
}

encoded = urlencode(data)
ret = js.call("get_headers", encoded)

url = "https://api.birdreport.cn/front/record/activity/search"
headers = ret['headers']

session = requests.session()
session.headers = headers
session.headers['User-Agent'] = "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/113.0.0.0 Safari/537.36"
session.headers['Referer'] = "http://www.birdreport.cn/"
session.headers['Content-Type'] = 'application/x-www-form-urlencoded; charset=UTF-8'

# 直接传数据. 即可.
resp = session.post(url, data=ret['data'])
print(resp.text)

4. 另一种思路：hook

因为携带的参数是整块的密文，所以网站大概率会使用JSON.stringify，来将数据转换为json字符串之后再进行加密（且在我们eval到的源码中，也可以看到JSON.stringify），所以我们可以尝试：hook——>JSON.stringify
hook代码：

JSON.stringify_ = JSON.stringify;
JSON.stringify = function(){
    debugger; // 断下来. 为了去找它前面或者后面做了什么
    return JSON.stringify_.apply(this, arguments);
}

将代码植入，换页发现断住了：在这里插入图片描述
切换调用栈：同样可以找到加密函数
在这里插入图片描述

数据的解密：

同理，我们也可以hook——>JSON.parse

JSON.parse_ = JSON.parse;
JSON.parse = function(){
    debugger; // 断下来. 为了去找它前面或者后面做了什么
    return JSON.parse_.apply(this, arguments);
}

在这里插入图片描述
进入下一个调用栈：
基本可以确定BIRDREPORT_APIJS.decode（）就是解密函数
在这里插入图片描述
BIRDREPORT_APIJS.decode（）：是aes解密
在这里插入图片描述

代码：

const CryptoJS = require("crypto-js");

function decry(a) {
        var b = CryptoJS.enc.Utf8.parse('3583ec0257e2f4c8195eec7410ff1619');
        var c = CryptoJS.enc.Utf8.parse("d93c0d5ec6352f20");
        var d = CryptoJS.AES.decrypt(a, b, {
            iv: c,
            mode: CryptoJS.mode.CBC,
            padding: CryptoJS.pad.Pkcs7
        });
        return d.toString(CryptoJS.enc.Utf8)
    }
var a="数据"
console.log(decry(a))

在这里插入图片描述

akkkk0
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 3
    评论
专栏目录
ornitho-data:从鸟眼获得有用的数据来观鸟
04-30
鸟类数据 从鸟眼获得有用的数据来观鸟
【爬虫实战】使用Python和JS逆向观鸟网Search接口
u013046615的博客
11-21 8904
中国观鸟记录中心，这个网站有点特殊，不同于平时常见的网站，header的部分字段和响应数据都是加密的。最重要的是加密方式是在Ajax中处理的。综上所述，记录一下这类网站的逆向过程。首先就是加密算法的自定义，之前没想到过，以为是版本问题其次就是在加密函数那里，首次调试的时候把变量写死了，导致后续调用的时候总是验证失败经过这个网站的分析，增长了不少经验，也获取了更高效的技巧。
python爬虫非对称加密RSA案例：某观鸟网站
局外人LZ的博客
12-05 867
声明：该文章为学习使用，严禁用于商业用途和非法用途，违者后果自负，由此产生的一切后果均与作者无关。
JS逆向-将接口返回的加密数据进行解密
热门推荐
wgz1264924388的博客
07-05 2万+
按下F5刷新页面之后，可看到程序运行到断点处会停止，然后每按下一次F8，在下方控制台输入【Object(d.a)(t.encrypt_data)】并回车，可看到在这个加密流程里每次打印的数据都不一样，说明网页里的数据都是使用的这个函数。如下图，表格里的数据是通过【productListVip】这个接口进行请求的，而且看预览里的返回参数，【encrypt_data】是一段字母+符号+数字，也就是被加密的数据。此时我们已找完解密函数，我们新建一个HTML页面，在编辑器里尝试一下解密。
中国观鸟记录中心 birdreport 爬虫逆向加密 AES解密分析和代码 2023版
搞定 Python
08-18 1730
var e = JSON.stringify(sort_ASCII(dataTojson(b.data || '{}'))) //b.data进行处理我们可以看下b.data和e 此处的b.data 会根据搜索条件的不同会略有区别。我们可以通过XHR断点调试，经过分析可以定位到在魔改后的Jquery.js里面 在k.beforeSend 是调用了加密逻辑。我们的sign即我们的f 是一个MD5加密(e + d + c)在js文件的头部可以看到key iv是固定的。相应的数据是一个加密数据需要破解。
爬虫JS逆向思路 - - 扣JS(data解密)
ZTLJQ的博客
02-09 6862
o函数 a.a.decode函数 我们都已经将函数给复制出来了 最后一步就是 把之前浏览的加密参数复制给一个变量 然后执行复制在pycharm中的 function s(e)主函数。👉接下来 看里面return的函数结构 发现 a.a.decode就是对e进行加密的函数 然后最外层就是o函数对整个进行处理 那么我们先选中a.a.decode进入这个函数的结构。👉接下来 先将 这个function s(e)主函数 复制出来 并且进行一些小的改写 因为a.a是可以不需要的。
RES加密解密长文本中文JAVA与JS方法，前后端通用
ink_s的博客
09-02 1903
引用 jsencrypt.js （修改过的jsencrypt） 引用 Base64.js //测试 testText为需要加密的字符串 JS加密会有一定几率不能解密，所以可以把加密后的内容解密一次，如果解密后跟加密前的内容完全相等，则加密成功，可以把加密后的内容发给后端，如果不想等则重新加密一次再次判断 //运行10000次结果 成功次数:9456 失败次数：544 var publicKeyStr = "MIGfMA0GCSqGSIb3DQEBAQUAA4GNADCBiQKBgQDj.
Vue用JSEncrypt对长文本json加密以及发现解密失败
m0_59157023的博客
08-17 1621
哈喽 大家好啊，最近发现进行加密后 超长文本后端解密失败，经过看其他博主修改。这个源码算法 我还是不是太懂啦 但是目前已经测试成功。
eBird_to_birdreportcn：将ebird的观察数据转换为中国观鸟记录中心可以接受的数据格式
03-03
本项目有用将ebird的观察数据转换为中国观鸟记录中心可以接受的数据格式。 版本0.4 网页版应用 网页版应用可直接使用，详情见。 网页版应用的源代码在webapp.py ，有个性化修改，不保证移植可用。 使用 参考 。 ...
python+selenium爬取地理空间数据云影像的元数据
09-14
python+selenium爬取地理空间数据云影像的元数据，地理空间数据云影像的元数据信息是动态获取的，所以要用到selenium实现动态点击，而且翻页也需要动态去做
视频AI智能分析-观鸟系统解决方案202109.pdf
04-12
视频AI智能分析-观鸟系统解决方案 视频智能分析系统是计算机“分析”和“识别”技术的应用，将摄像机当作人的“眼睛”，智能设备终端作为人的“大脑”，让视频监控系统具有人一样的判断危险的能力。该系统通过对...
论文研究 - 基于娱乐活动的野生动物游客对环境负责的行为意图-以广州观鸟游客为例
05-29
本研究以广州市的观鸟游客为研究对象，通过娱乐活动对观鸟游客进行分类，比较和分析了不同类型游客的社会人口特征和负责任行为意向的环境差异。 研究结果：1）通过K-means聚类分析，观鸟游客可以分为三种不同类型的...
前端RSA加密解密：支持中文 - 基于jsencrypt使用任意长度密钥，对任意长度字符串进行分段加解密
lionking1990的博客
05-13 1万+
前端RSA加密解密：支持中文 - 基于jsencrypt使用任意长度密钥，对任意长度基于jsencrypt的RSA加解密与其他超长加解密代码不同1、支持中文；2、支持任意密钥。jsencrypt中要添加的代码前端使用示例后记 基于jsencrypt的RSA加解密 RSA的详细就不说了，jsencrypt是一个开源的js库，大家应该都了解。它本身不支持长字符串（string size>key size）的加解密。 应该说RSA最大加密码长度为key size，而jsencrypt也没有提代分段加密的方法
JS逆向案例：破解登录密码
算法channel
06-21 3228
本人不是专业IT人员，但是对python爬虫这块非常感兴趣，在抖音上看了zhen老师的python全栈直播课程，果断选择加入zhen老师的VIP大家庭，给zhen老师投稿发文章还能挣钱，50元。废话不多说，进入主题。最近在学习JS逆向方面的知识，由于之前做过12306的自动抢票软件，因此对12306情有独钟????，接下来就给大家介绍一下12306用户登录密码的参数破解办法。首...
【python爬虫】js逆向分析及AES解密
serendipity1130的博客
03-06 3259
js逆向
网页爬虫之WebPack模块化解密（JS逆向）
z_ipython的博客
04-26 4597
然后重写 window[“webpackJsonp”] 数组的 push( ) 方法为 webpackJsonpCallback( ),也就是说 window[“webpackJsonp”].push( ) 其实执行的是 webpackJsonpCallback( ),window[“webpackJsonp”].push( )接收三个参数,第一个参数是模块的ID,第二个参数是 一个数组或者对象,里面定义大量的函数,第三个参数是要。所有的资源都是通过JavaScript渲染出来的。
Easuyi怎么进java里,RES加密解密长文本中文JAVA与JS方法，前后端通用
weixin_42228796的博客
03-13 275
更新：RSAUtils.java中return Base64.encodeBase64URLSafeString(dataReturn);替换为return Base64.encodeBase64String(dataReturn);否则java加密的内容JS解密不了引用 jsencrypt.js (修改过的jsencrypt)引用 Base64.js//测试 testText为需要加密的字符串...
encrypt加解密
weixin_36521716的博客
11-05 2254
function encrypt($string,$operation = 'E',$key=''){     $key=md5($key);     $key_length=strlen($key);     $string=$operation=='D'?base64_decode($string):substr(md5($string.$key),0,8).$string;     $str...
GLM+vLLM 部署调用
最新发布
qq_38915354的博客
06-13 1229
vLLM 框架是一个高效的大型语言模型（LLM）推理和部署服务系统
yolo识别鸟类数据集
12-17
yolo识别鸟类数据集是一种使用yolo算法来识别鸟类的数据集。这个数据集包括了各种不同种类的鸟类的图像数据，每一张图像都会包含有鸟类的标注信息，比如鸟类的种类、位置等。这个数据集可以用来训练机器学习模型，以便让计算机可以自动地识别鸟类。 使用yolo算法识别鸟类数据集可以带来很多好处。首先，可以提高鸟类的识别精度。传统的图像识别算法可能对于小、遥远或者部分遮挡的鸟类很难进行准确的识别，而yolo算法可以更加准确地识别出这些鸟类。其次，可以提高识别的速度。yolo算法以其快速、高效的特性而著称，可以在短时间内对大量的鸟类图像进行识别，提高了工作的效率。 此外，yolo算法的灵活性也使得识别鸟类数据集的应用更加广泛。无论是在科学研究、生态保护还是观鸟旅游等领域，都可以通过yolo算法识别鸟类数据集来帮助人们更好地了解和保护鸟类资源。 总之，yolo识别鸟类数据集是一种以yolo算法为基础的鸟类图像识别技术，它的应用可以提高鸟类的识别精度和速度，并且在各个领域都有着广泛的应用前景。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

akkkk0

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值