JS逆向爬虫案例（1）(AES加密解析)

已于 2024-02-26 18:56:39 修改
阅读量2.1k 收藏 26
点赞数 31
文章标签： javascript 爬虫 python
于 2024-02-26 13:39:40 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_73483987/article/details/136288697
版权

AES加密解析（XX租网站）

一.AES加密前置知识

AES是一种对称加密，所谓对称加密就是加密与解密使用的秘钥是一个。

常见的对称加密: AES, DES, 3DES. 我们这里讨论AES。

安装：

pip install pycryptodome

AES 加密最常用的模式就是 CBC 模式和 ECB模式 ，当然还有很多其它模式，他们都属于AES加密。ECB模式和CBC 模式俩者区别就是 ECB 不需要 iv偏移量，而CBC需要。

"""
长度
    16: *AES-128*   
    24: *AES-192*
    32: *AES-256*
    
MODE 加密模式. 
    常见的ECB, CBC
    ECB：是一种基础的加密方式，密文被分割成分组长度相等的块（不足补齐），然后单独一个个加密，一个个输出组成密文。
    CBC：是一种循环模式，前一个分组的密文和当前分组的明文异或或操作后再加密，这样做的目的是增强破解难度。
"""

CBC加密案例（选择aes-128）：

from Crypto.Cipher import AES
from Crypto.Util.Padding import pad
import base64

key = '0123456789abcdef'.encode()  # 秘钥: 因为aes-128模式，所以必须16字节
iv = 'abcdabcdabcdabcd'.encode()   # 偏移量：因为aes-128模式，所以必须16字节
text = 'alex is a monkey!'  # 加密内容，因为aes-128模式，所以字节长度必须是16的倍数
text = pad(text.encode(), 16)
print("完整text:", text)

aes = AES.new(key, AES.MODE_CBC, iv)  # 创建一个aes对象

en_text = aes.encrypt(text)  # 加密明文
print("aes加密数据:::", en_text)  # b"_\xf04\x7f/R\xef\xe9\x14#q\xd8A\x12\x8e\xe3\xa5\x93\x96'zOP\xc1\x85{\xad\xc2c\xddn\x86"

en_text = base64.b64encode(en_text).decode()  # 将返回的字节型数据转进行base64编码
print(en_text)  # X/A0fy9S7+kUI3HYQRKO46WTlid6T1DBhXutwmPdboY=

CBC解密案例：

from Crypto.Cipher import AES
import base64
from Crypto.Util.Padding import unpad

key = '0123456789abcdef'.encode()
iv = b'abcdabcdabcdabcd'
aes = AES.new(key, AES.MODE_CBC, iv)

text = 'X/A0fy9S7+kUI3HYQRKO46WTlid6T1DBhXutwmPdboY='.encode()  # 需要解密的文本
ecrypted_base64 = base64.b64decode(text)  # base64解码成字节流
source = aes.decrypt(ecrypted_base64)  # 解密
print("aes解密数据:::", source.decode())
print("aes解密数据:::", unpad(source, 16).decode())

  1. 在Python中进行AES加密解密时，所传入的密文、明文、秘钥、iv偏移量、都需要是bytes（字节型）数据。python 在构建aes对象时也只能接受bytes类型数据。

  2. 当秘钥，iv偏移量，待加密的明文，字节长度不够16字节或者16字节倍数的时候需要进行补全。

  3. CBC模式需要重新生成AES对象，为了防止这类错误，无论是什么模式都重新生成AES对象就可以了。

二.毛毛租网站解析爬虫

1.页面解析

返回值解密

刷新页面，通过F12控制台可找到每个页面中具体商品的信息都是通过一个post请求获取在这里插入图片描述
点击预览，和负载可以看到都是显示密文，显然信息是经过加密的
在这里插入图片描述
在这里插入图片描述
进入网站源代码，搜索关键字decrypt(,找到四个函数：
在这里插入图片描述

逐一打上断点，并刷新页面，最后发现页面在第四个函数完成后页面信息完全显示，并且查看函数传入的数据与刚刚请求发过来的数据是相同的，故判断这就是对信息解密的函数
在这里插入图片描述
通过函数名知道信息是使用的AES加密方式。
进入函数内部，在这里插入图片描述

可以发现有一行函数
return this.d(a, e)
打上断点并刷新页面，查看函数执行到次时两个参数的值，可以发现一个是前面post请求发过来的加密数据，另一个是一个16位的字符串，与AES加密时用到的key与iv格式相同，判断这就是加密的密钥，通过python代码使用此字符串对密文经行解密验证

response = requests.post('https://www.maomaozu.com/index/build.json', cookies=cookies, headers=headers, data=data)

# print(response.text)
data_text = response.text.encode()
# print(data_text)

key = '0a1fea31626b3b55'.encode()
iv = '0a1fea31626b3b55'.encode()
aes = AES.new(key, AES.MODE_CBC, iv)
data = base64.b64decode(data_text)
# print(data)

data = aes.decrypt(data)
# print(unpad(data,16).decode())  # 去除补位并转化为utf-8
data = json.loads(unpad(data,16).decode())
print(data)

程序运行结果：
在这里插入图片描述
数据解析成功。

请求负载解析

同样的方法，在源代码处搜索encript(,也有四处函数
在这里插入图片描述
同样是第四个函数在这里插入图片描述
可以看到函数名与解密的函数相近，并且携带的参数中有page：页码，expire：请求时间的时间戳
进入函数内部
在这里插入图片描述
通过控制台输出可以发现return函数中输入的两个参数中一个是json格式的刚刚页码与时间戳等信息，另一个则是16位的字符串，判断这就是post请求的加密密钥，在python程序中使用相同的信息与此密钥进行加密

from Crypto.Cipher import AES
from Crypto.Util.Padding import pad
import base64
key = '55b3b62613aef1a0'.encode()
iv = '55b3b62613aef1a0'.encode()

# text = {
#     "Type": 0,
#     "page": 1,
#     "expire": 1708684791449
# }
text = "{\"Type\":%d,\"page\":%d,\"expire\":%d}"
text = text % (0, 1, 1708877591496)
text = pad(text.encode(), 16)
print("完整text:", text)

aes = AES.new(key, AES.MODE_CBC, iv)  # 创建一个aes对象

en_text = aes.encrypt(text)  # 加密明文
en_text = base64.b64encode(en_text).decode()  # 将返回的字节型数据转进行base64编码
print(en_text)

输出：

i1gpLEJyKvluv3sQVGr/hx6/EpsN1QrE5hHyWMBPknue1jJY9yGqT7opkH3fpldv

请求负载：
在这里插入图片描述
可以看到通过python加密的数据与post请求所携带的字符是一样的。

2.代码实现

import json
import time
import openpyxl
import requests
from Crypto.Cipher import AES
from Crypto.Util.Padding import pad, unpad
import base64

cookies = {
    'PHPSESSID': 'i6b3tpitsiabdl1hu7s7otlvu2',
    'SECKEY_ABVK': 'dUTeRdm1X/JsorkJAHMX/sbf6B0RB1PMlY7Nk1//I2U%3D',
    'Hm_lvt_6cd598ca665714ffcd8aca3aafc5e0dc': '1708677440',
    'Hm_lpvt_6cd598ca665714ffcd8aca3aafc5e0dc': '1708677440',
    'BMAP_SECKEY': 'GJ4PmYY3-7GF_CRLolSRulPhQ_CTu9oLk5BGLix_d-W_ZsK_690aVPyx7QqqpyrKEmHAlxMdA3T6wQn8Ub6OHaabK11_i-lUea0RgCtWq6yelMerVNapfTQXIMP2gGs7-ZyaxErsWAX_sfIdWZ2Vxjz4WFuD_D3Q-TuU5ndyYwCaiBDdm_bN9RK4IDaVTU2h',
}

headers = {
    'Accept': '*/*',
    'Accept-Language': 'zh-CN,zh;q=0.9,en;q=0.8,en-GB;q=0.7,en-US;q=0.6',
    'Connection': 'keep-alive',
    'Content-Type': 'application/json; charset=UTF-8',
    # Requests sorts cookies= alphabetically
    # 'Cookie': 'PHPSESSID=i6b3tpitsiabdl1hu7s7otlvu2; SECKEY_ABVK=dUTeRdm1X/JsorkJAHMX/sbf6B0RB1PMlY7Nk1//I2U%3D; Hm_lvt_6cd598ca665714ffcd8aca3aafc5e0dc=1708677440; Hm_lpvt_6cd598ca665714ffcd8aca3aafc5e0dc=1708677440; BMAP_SECKEY=GJ4PmYY3-7GF_CRLolSRulPhQ_CTu9oLk5BGLix_d-W_ZsK_690aVPyx7QqqpyrKEmHAlxMdA3T6wQn8Ub6OHaabK11_i-lUea0RgCtWq6yelMerVNapfTQXIMP2gGs7-ZyaxErsWAX_sfIdWZ2Vxjz4WFuD_D3Q-TuU5ndyYwCaiBDdm_bN9RK4IDaVTU2h',
    'Origin': 'https://www.maomaozu.com',
    'Referer': 'https://www.maomaozu.com/',
    'Sec-Fetch-Dest': 'empty',
    'Sec-Fetch-Mode': 'cors',
    'Sec-Fetch-Site': 'same-origin',
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/121.0.0.0 Safari/537.36 Edg/121.0.0.0',
    'sec-ch-ua': '"Not A(Brand";v="99", "Microsoft Edge";v="121", "Chromium";v="121"',
    'sec-ch-ua-mobile': '?0',
    'sec-ch-ua-platform': '"Windows"',
}

encrypt = '55b3b62613aef1a0'.encode()  # 加密密钥
aes_encrypt = AES.new(encrypt, AES.MODE_CBC, encrypt)
decrypt = '0a1fea31626b3b55'.encode()  # 解密密钥

for i in range(1, 11):
    """ 对post请求参数进行加密 """
    text = "{\"Type\":%d,\"page\":%d,\"expire\":%d}"
    text = text % (0, i, time.time())  # 获取当前时间戳
    text = pad(text.encode(), 16)  # 进行十六进制补位
    en_text = aes_encrypt.encrypt(text)  # 加密明文
    data = base64.b64encode(en_text).decode()  # 将返回的字节型数据转进行base64编码

    response = requests.post('https://www.maomaozu.com/index/build.json', cookies=cookies, headers=headers,
                             data=data)  # 发送请求

    """ 对返回数据进行解析 """
    data_text = response.text.encode()  # 转换为16进制
    data_text = base64.b64decode(data_text)  # 转换为字节流

    aes_decrypt = AES.new(decrypt, AES.MODE_CBC, decrypt)
    data_text = aes_decrypt.decrypt(data_text)  # 解密

    data_json = json.loads(unpad(data_text, 16).decode())  # 去除补位并转换为utf-8

    # print(unpad(data_text, 16).decode())
    """ 保存数据 """
    wb = openpyxl.load_workbook("excel_test.xlsx")
    ws = wb.active
    for index, value in enumerate(data_json['list'], start=(i - 1) * 10 + 2):
        try:
            RoomList = value['RoomList'][0][0]
        except IndexError:
            RoomList = ''
        data_liat = [
            value['ID'], value['Name'], '-'.join(['Address']),
            value['Image'], value['Line'][0], RoomList,
            value['Price'], value['UpdateTimeStr']
        ]
        for column in range(1, 9):
            ws.cell(row=index, column=column).value = data_liat[column - 1]
    print(f'第{i}个页面保存完成')
    wb.save("excel_test.xlsx")

    time.sleep(2)
小细节：
  • 为什么加密请求头时使用的是 text = "{\"Type\":%d,\"page\":%d,\"expire\":%d}"而不直接在程序里设置一个字典然后转为json再加密：
    这个网站中是通过JS代码将JS对象转换为了json形式，其中需要对 ” 号进行转义，而python中是不需要的，所以直接使用python字典转为字符串的话加密之后就与网站发送给服务器的字符不相同了
  • 为什么不将解密的AES对象放在循环外重复使用：
    AES对象作为解密作用时二次解密会出现错误
点157
关注
python爬虫： 1、记录捕获各网站的数据 2、逆向JS（请求数据加密、响应数据解密）
11-16
python爬虫： 1、记录捕获各网站的数据 2、逆向JS（请求数据加密、响应数据解密）
密码学之摘要算法
weixin_34368949的博客
05-15 180
本文示例代码详见：https://github.com/52fhy/crypt-demo 摘要算法 摘要算法又称哈希/散列算法。它通过一个函数，把任意长度的数据转换为一个长度固定的数据串（通常用16进制的字符串表示）。算法不可逆。 散列/哈希算法有： SHA1 SHA224 SHA256 SHA384 SHA512 MD5 HmacSHA1 HmacSHA224 HmacSHA256 H...
aes 加密、解密
最新发布
zengdaoqiang的博客
07-30 468
【代码】aes 加密、解密。
逆向系列 | AES逆向加密案例分析
weixin_42577686的博客
12-28 3650
AES加密详解 简介：全称高级加密标准（英文名称：Advanced Encryption Standard），在密码学中又称 Rijndael 加密法，由美国国家标准与技术研究院 （NIST）于 2001 年发布，并在 2002 年成为有效的标准，是美国联邦政府采用的一种区块加密标准。这个标准用来替代原先的 DES，已经被多方分析且广为全世界所使用，它本身只有一个密钥，即用来实现加密，也用于解密。 mode支持 CBC，CFB，CTR，CTRGladman，ECB，OFB 等。 padding支持 Zero
爬虫(二)前端加密算法之AES-ECB
qq_44789620的博客
11-15 336
这种方式有个不好的就是脚本所处环境需要有nodejs这样的javascript运行环境，不然没法编译js，所以下面给出了另外一种方式。使用js2py生成一个上下文环境对象，然后在上下文环境中执行js源文件or方法，然后调用即可，这里同样给出一个小demo,自己品。使用execjs，编译js源文件or方法，然后调用js方法，正常传参，具体应用这里给出一个小demo，自己品。链接：https://pan.baidu.com/s/1Mn9rtlhqzCpjRx-EnqxY8g。
常见的信息摘要和加密算法(原理+使用)
fhzmWJ的博客
07-24 1826
MD5 | SHA | HMAC | DES | AES | RSA | ECDHE
详解消息摘要算法
weixin_71583566的博客
09-02 259
消息摘要算法
【加密算法】5 种常见的摘要、加密算法
sco5282的博客
06-30 1465
那么上面提到的这些能力，我们都可以利用哪些加密算法来实现呢？咱们接着往下看。加密算法整体上可以分为：不可逆加密、可逆加密。可逆加密又可以分为：对称加密、非对称加密。
JS逆向——AES加密
qq_67181251的博客
06-26 988
定位到关键加密函数_etd2函数，传递的参数包括password.val()和一个salt值。继续跟踪，找到_etd2函数，调用了encryptAES函数，传递的参数为password和salt。继续跟踪，找到encryptAES函数，调用了_gas函数和_rds函数，然后返回最后的加密内容。_gas函数：实际加密函数，实现对于数据进行pkcs7填充，CBC模式的AES加密。到这里，整个加密流程已经很清晰了，下一步就是找到所有参数进行实际加密。加密得到的结果相同并且可成功解密，逆向结束。
摘要算法和加密算法
weixin_53794227的博客
04-01 4670
概要算法和加密算法的讲解与比较
JS逆向——AES加密案例(openlaw登录)
Python进阶专栏《爬虫实战进阶》，《数据分析入门与实战》原创作者
12-09 952
本文是该专栏的第27篇，后面会持续分享python的爬虫干货知识，记得关注。在爬虫项目中，或多或少都会遇到请求参数被加密，像这样的例子有很多，所以js加密对于爬虫攻城狮来说，也是一块比较难啃的领域。而本文要介绍的例子是AES加密的一种，了解AES的同学都清楚，AES全称：高级加密标准(Advanced Encryption Standard)，在密码学中又称Rijndael加密法，是美国联邦政府采用的一种区块加密标准。AES也是对称加密算法，如果能够获取到密钥，那么就能对密文解密。
web爬虫逆向笔记：js逆向案例一（AES加解密）
qq_49268524的博客
03-09 740
1、js逆向案例 2、AES加解密 3、逐步分析还原实现
Python逆向爬虫案例: 某网站AES逆向解密
2301_76201613的博客
11-13 1039
win + R 输入cmd 输入安装命令 pip install 模块名 (如果你觉得安装速度比较慢, 你可以切换国内镜像源)抓包分析 -> 通过浏览器自带开发者工具进行抓包 普通网站数据采集 --> 参数变化 去搜索参数在什么地方。既然参数数据/数据加密 --> 分析参数如何生成的。调用js代码里面的函数内容 -> 获取kiv值。
逆向 | AES加密逆向案例分析
m0_63171455的博客
01-07 1312
绪论 本期是对腾讯热播剧——雪中悍刀行的一次爬虫与数据分析，耗时一个小时，总爬取条数1W条评论，很适合新人练手，值得注意的一点是评论的情绪文本分析处理，这是第一次接触的知识。 爬虫方面：由于腾讯的评论数据是封装在json里面，所以只需要找到json文件，对需要的数据进行提取保存即可。 视频网址：v.qq.com/x/cover/mzc… 评论json数据网址：video.coral.qq.com/varticle/75… 注：只要替换视频数字id的值，即可爬取其他视频的评论 如何查找视频i
JS逆向爬虫案例分享
weixin_36723038的博客
08-28 1411
JS逆向爬虫案例分享
密码学基础--加解密、摘要算法
chuicao4350的博客
10-20 4824
加密算法分为对称性加密算法和非对称性加密算法。 1.对称性加密算法 对称性加密算法：发信方和收信方使用同样的秘钥对数据进行加密和解密，这就要求解密方必须事先知道秘钥。 优点：加解密的高速度和使用长密钥时的难破解性。 缺点：双方使用加密算法时，都需要使用其他人不知道的唯一密钥，这样密钥管理是十分困难的，尤其在分布式系统中，同时也缺乏签名功能。如果企业内用户有n个，则整个
常见加密算法特点及适用场景
02-06 7843
常见的加密算法主要有三种：对称加密算法、非对称加密算法和数字摘要算法。 特别说明，对于加密算法的无法破解，是指其在空间和时间上不具备实现的条件。如某个加密算法，采用暴击攻击，在现...
常用的加密算法和摘要算法
m0_54187478的博客
11-24 637
摘要算法，也称为哈希算法或散列算法，是一种将任意大小的数据转换成固定长度的字符串（通常是十六进制数）的过程。摘要算法的输出被称为哈希值或摘要。这些算法广泛用于各种应用，包括数据完整性校验、密码存储和数字签名。固定长度输出无论输入数据的大小如何，摘要算法总是产生一个固定长度的输出（称为哈希值或摘要）。例如，无论输入数据有多长，SHA-256 始终输出 256 位的哈希值。高效计算哈希算法通常能够快速地计算输入数据的哈希值，这使得它们即便在处理大量数据时也能保持高效。确定性。
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值