Python爬虫 - js逆向解密之某翻译加密算法

最新推荐文章于 2024-09-06 22:20:29 发布
最新推荐文章于 2024-09-06 22:20:29 发布
阅读量1.3k 收藏 23
点赞数 29
文章标签： 前端 爬虫 python javascript
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/2401_86078658/article/details/140876833
版权

前言

本次针对某个翻译平台的js逆向，同时并不存在恶意，只是本着学习研究为主，同时，在分析期间并未高频次测试导致该平台服务器不可用

观察

首先直接体验下：

抓包查看请求的接口：

然后请求参数有这些：

一看，i应该就是我传的参数了，常规思维走起来，直接复制这些参数，然后在python里运行：

 我把i换成main翻译试试：

不行了，有点意思哈，为啥复制的english就可以翻译呢？

原因是这样的：

像这种翻译平台，肯定很多人调用，然后同时段用的人肯定很多，加上，有些人有一种习惯，就是在翻译中途，数据还没出来的话，就想再点一次，而此时服务器其实翻译好了正准备返回或者已经返回，这样，服务器缓存一下，可以节省实际的翻译部分代码产生的资源占用，而直接就把翻译结果返回了，同时可以把这个资源给其他需要翻译的人用，所以就会有为什么同一个待翻译字段和同一组请求参数可以用，换一个待翻译字段用同一组请求参数就不能用了。

有朋友会说了，同一个待翻译字段，它同一套加密算法，出来肯定是一样的值啊，所以怎么确定不是同样的翻译一次而是你说的缓存翻译结果直接返回呢，注意哈，请求参数里有个时间戳字段，这个可是每次都会变的啊，所以大概率是我说的那种情况。当然实际情况是这样的啊，我也不是该平台的实际研发人员，所以具体情况我也不清楚哈

接着我又翻译几次之后，发现，就有4个值是一直会变得，其他不会变，就 lts，bv，salt，sign，就这四个，然后i就是我们输入的待翻译的字段

好，不废话，直接看这几个值在哪生成的，直接全局搜sign：

 进入这个js文件，再搜，看到有11处，好，那一个一个看下

第一个：

这个的请求参数不太像，再看下面的，

这个也不太像，我们刚才的请求参数没有cache这个值，接着再看：

这个有点像，

再接着看：

这个感觉有点像

分析

对上面看到的两处有点像的，打上断点看看：

动态调试

输入get立即就被断上了，那说明我们打断点打对地方了

那么我们开始找那4个参数怎么来的了

第一个，ts

不用说了，这个就是个时间戳，然后被转成了字符串的，先看下它是多少位的时间戳：

用在线的时间戳转换工具直接看

看来是毫秒级的时间戳了，而我们python默认的time模块并不是毫秒级的：

这个后面乘以个1000然后取整就可以了，ts搞定了

第二个，bv

 看代码，bv其实就是t，而t 就是navigator.appversion参数再md5之后的字段，先看下navigator.appversion是啥东西，把鼠标放上去，它自己就显示了

 不觉得这个很像个啥吗，搞爬虫，应该一眼就能认出来这是啥了，就是ua啊，

然后用第一个【/】作为分隔符把它分割了：

用python做个验证，这个值果然可以对上

 

 也就是说，只要我们的请求不变，那一直都可以用这个值。

第三个，salt

这个，看代码就看出来，就是用刚才的时间戳参数，然后乘以了一个随机的0到1之间的小数，然后再乘以10取整数跟之前的时间戳以字符串拼接起来的，那不就是直接加了一个0-9的随机整数嘛

第四个，sign

这个就是最重要的了，

而，主要就是看下e和i是啥了，仔细看，

e就是我们待翻译参数

i就是刚才的salt参数了

这个sign参数每次都是由时间戳+待翻译参数生成出来的，这也是为什么，刚才我用同一组固定的请求参数翻译【english】时可以翻译，但是翻译【main】不行了

ok，后面就是代码实现了

python实现

import requests
import time
from hashlib import md5
import random


def get_md5(something):
    if isinstance(something, str):
        m = md5()
        m.update(something.encode('utf-8'))
        return m.hexdigest()


def format_ts():
    now = time.time()
    now = int(now * 1000)
    return now


def format_bv(some_headers):
    ua = some_headers.get('User-Agent')
    ua = ua.split('/', 1)[1]
    # print(1231232, ua)
    bv = get_md5(ua)
    return bv


def format_salt(ts):
    # ts + parseInt(10 * Math.random(), 10)
    number = random.randint(0, 9)
    if not isinstance(ts, str):
        ts = str(ts)
        salt = ts + str(number)
        return salt


def format_sign(keywords, salt):
    # n.md5("fanyideskweb" + keywords + salt + "Tbh5E8=q6U3EXe+&L[4c@")
    k = 'fanyideskweb' + keywords + salt + 'Tbh5E8=q6U3EXe+&L[4c@'
    sign = get_md5(k)
    return sign


def main(keyword):
    headers = {
        'Accept': 'application/json, text/javascript, */*; q=0.01',
        'Accept-Language': 'zh-CN,zh;q=0.9',
        'Connection': 'keep-alive',
        'Content-Type': 'application/x-www-form-urlencoded; charset=UTF-8',
        'X-Requested-With': 'XMLHttpRequest',
        'sec-ch-ua': '" Not A;Brand";v="99", "Chromium";v="90", "Google Chrome";v="90"',
        'sec-ch-ua-mobile': '?0',
        'Sec-Fetch-Dest': 'empty',
        'Sec-Fetch-Mode': 'cors',
        'Sec-Fetch-Site': 'same-origin',
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/90.0.4430.93 Safari/537.36',
        'Origin': 'https://xxxx.com',
        'Referer': 'https://xxxx.com'
    }

    # 获取结果
    url = 'xxxx ' # 保密
    data = {
        'i': keyword,
        'from': 'AUTO',
        'to': 'AUTO',
        'smartresult': 'dict',
        'client': 'fanyideskweb',
        'salt': '',
        'sign': '',
        'lts': '',
        'bv': '',
        'doctype': 'json',
        'version': '2.1',
        'keyfrom': 'fanyi.web',
        'action': 'FY_BY_REALTlME'
    }
    ts = format_ts()
    ___rl__test__cookies = ts + 3
    salt = format_salt(ts)
    bv = format_bv(headers)
    sign = format_sign(keyword, salt)
    if ts and salt and bv and sign:
        data['lts'] = ts
        data['sign'] = sign
        data['salt'] = salt
        data['bv'] = bv
    req = requests.post(url, headers=headers, data=data)
    res = req.content.decode('utf-8')
    print(2313123, res)
    return res


main('get')

执行：

跟预期的有点不太一样啊，这个就很骚了，仔细检查代码，发现设置的这些值也没问题啊，到底哪里呢，想下为啥浏览器可以，代码为啥不行呢，有点了解的会立即想到cookie问题，看下是不是呢？

cookie字段

没事，我们用requests的session对象来请求，它会自动保存cookie的

　　

import requests
import time
from hashlib import md5
import random


def get_md5(something):
    if isinstance(something, str):
        m = md5()
        m.update(something.encode('utf-8'))
        return m.hexdigest()


def format_ts():
    now = time.time()
    now = int(now * 1000)
    return now


def format_bv(some_headers):
    ua = some_headers.get('User-Agent')
    ua = ua.split('/', 1)[1]
    # print(1231232, ua)
    bv = get_md5(ua)
    return bv


def format_salt(ts):
    # ts + parseInt(10 * Math.random(), 10)
    number = random.randint(0, 9)
    if not isinstance(ts, str):
        ts = str(ts)
        salt = ts + str(number)
        return salt


def format_sign(keywords, salt):
    # n.md5("fanyideskweb" + keywords + salt + "Tbh5E8=q6U3EXe+&L[4c@")
    k = 'fanyideskweb' + keywords + salt + 'Tbh5E8=q6U3EXe+&L[4c@'
    sign = get_md5(k)
    return sign


def main(keyword):
    headers = {
        'Accept': 'application/json, text/javascript, */*; q=0.01',
        'Accept-Language': 'zh-CN,zh;q=0.9',
        'Connection': 'keep-alive',
        'Content-Type': 'application/x-www-form-urlencoded; charset=UTF-8',
        'X-Requested-With': 'XMLHttpRequest',
        'sec-ch-ua': '" Not A;Brand";v="99", "Chromium";v="90", "Google Chrome";v="90"',
        'sec-ch-ua-mobile': '?0',
        'Sec-Fetch-Dest': 'empty',
        'Sec-Fetch-Mode': 'cors',
        'Sec-Fetch-Site': 'same-origin',
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/90.0.4430.93 Safari/537.36',
        'Origin': 'https://xxxx.com',
        'Referer': 'https://xxxx.com'
    }
    # #  获取cookie
    session = requests.session()
    req = session.get('xxxx', headers=headers) # 主站地址，保密
    print(session.cookies.items())

    # 获取结果
    url = ''  # 保密
    data = {
        'i': keyword,
        'from': 'AUTO',
        'to': 'AUTO',
        'smartresult': 'dict',
        'client': 'fanyideskweb',
        'salt': '',
        'sign': '',
        'lts': '',
        'bv': '',
        'doctype': 'json',
        'version': '2.1',
        'keyfrom': 'fanyi.web',
        'action': 'FY_BY_REALTlME'
    }
    ts = format_ts()
    salt = format_salt(ts)
    bv = format_bv(headers)
    sign = format_sign(keyword, salt)
    if ts and salt and bv and sign:
        data['lts'] = ts
        data['sign'] = sign
        data['salt'] = salt
        data['bv'] = bv
    req = session.post(url, headers=headers, data=data)
    res = req.content.decode('utf-8')
    print(2313123, res)
    return res


main('name')

再执行看看，翻译成功：

 是不是以为就完了？

但是，我多了个心眼，感觉这个cookie不止这些，一定有猫腻，结果，果然，我上面的代码还没请求几次就返回了个errorcode，那么看看浏览器上的cookie到底有哪些：

目前是这几个值，我再翻译下，看它会不会有新的变化

翻译了哈，再过来看这边的cookie:

 

 这个__rl_test_cookies变了，为了安全起见，得把这个__rl_test_cookies也用python实现下

那么接着来，在js里看看咋来的，同样的方法接着搜

 

 很快就找到这段逻辑：

 

 也就是这个a就是被赋值给了__rl_test_cookies，而a其实也是个时间戳字段，

要注意的是，先看请求接口时提交的参数：

 lts是1625456226916

cookie里是，1625456226915

两个时间段差距很小，去格式化的时候出来的时间时分秒相等，也就细微的不一样，那我后续就在lts之上加或者减一个很小的值就可以了，然后有朋友要问，就用lts的时间戳不可以吗，我试了是可以的，但是，为了不被发现还是尽量别用同一个

同时G = 2147483647 * Math.random()其实也是OUTFOX_SEARCH_USER_ID_NCOO的值，

可以在console里调试下：

 

至少长度是匹配的，经过我的测试也是可行的。

然后也就OUTFOX_SEARCH_USER_ID是没有，另外两个变量都有了，另外OUTFOX_SEARCH_USER_ID是我们请求主站的时候自己返回的。

也就是我们所有的可变的参数lts，bv，salt，sign，OUTFOX_SEARCH_USER_ID，__rl_test_cookies，OUTFOX_SEARCH_USER_ID_NCOO都拿到了，现在就好办了。

最后的代码：

import requests
import time
from hashlib import md5
import random


def get_md5(something):
    if isinstance(something, str):
        m = md5()
        m.update(something.encode('utf-8'))
        return m.hexdigest()


def format_ts():
    now = time.time()
    now = int(now * 1000)
    return now


def format_bv(some_headers):
    ua = some_headers.get('User-Agent')
    ua = ua.split('/', 1)[1]
    # print(1231232, ua)
    bv = get_md5(ua)
    return bv


def format_salt(ts):
    # ts + parseInt(10 * Math.random(), 10)
    number = random.randint(0, 9)
    if not isinstance(ts, str):
        ts = str(ts)
        salt = ts + str(number)
        return salt


def format_sign(keywords, salt):
    # n.md5("fanyideskweb" + keywords + salt + "Tbh5E8=q6U3EXe+&L[4c@")
    k = 'fanyideskweb' + keywords + salt + 'Tbh5E8=q6U3EXe+&L[4c@'
    sign = get_md5(k)
    return sign


def main(keyword):
    headers = {
        'Accept': 'application/json, text/javascript, */*; q=0.01',
        'Accept-Language': 'zh-CN,zh;q=0.9',
        'Connection': 'keep-alive',
        'Content-Type': 'application/x-www-form-urlencoded; charset=UTF-8',
        'X-Requested-With': 'XMLHttpRequest',
        'sec-ch-ua': '" Not A;Brand";v="99", "Chromium";v="90", "Google Chrome";v="90"',
        'sec-ch-ua-mobile': '?0',
        'Sec-Fetch-Dest': 'empty',
        'Sec-Fetch-Mode': 'cors',
        'Sec-Fetch-Site': 'same-origin',
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/90.0.4430.93 Safari/537.36',
        'Origin': 'https://xxx.com',
        'Referer': 'https://xxx.com'
    }
    # #  获取cookie
    session = requests.session()
    req = session.get('', headers=headers)
    print(session.cookies.items())
    time.sleep(2)

    # 获取结果
    url = '' #保密
    data = {
        'i': keyword,
        'from': 'AUTO',
        'to': 'AUTO',
        'smartresult': 'dict',
        'client': 'fanyideskweb',
        'salt': '',
        'sign': '',
        'lts': '',
        'bv': '',
        'doctype': 'json',
        'version': '2.1',
        'keyfrom': 'fanyi.web',
        'action': 'FY_BY_REALTlME'
    }
    ts = format_ts()
    ___rl__test__cookies = ts + 3
    salt = format_salt(ts)
    bv = format_bv(headers)
    sign = format_sign(keyword, salt)
    if ts and salt and bv and sign:
        data['lts'] = ts
        data['sign'] = sign
        data['salt'] = salt
        data['bv'] = bv
    cookie = headers.get('Cookie')
    if not cookie:
        cookie = ''
        for key, value in session.cookies.items():
            if key and value:
                cookie += '%s=%s; ' % (key, value)
    cookie += '___rl__test__cookies=%s' % ___rl__test__cookies
    headers['Cookie'] = cookie
    req = session.post(url, headers=headers, data=data)
    res = req.content.decode('utf-8')
    print(2313123, res)
    return res


main('put')

这个也是可以正常翻译的，而且长期可用。

ok，完毕！！！！

 另外，我们如果要部署到项目里的话，因为翻译字段和请求参数是配套的，翻译一次之后就可以在短期内一直用了，那么就可以做到一定的缓存机制了，也就是一个单词翻译过后我就可以再次用之前的请求参数一直翻译了。当然有个问题就是，也不知道它服务器是怎么缓存的，有可能就存个一周还是多久，肯定不会永久存储的，所以，我们可以控制在3天左右如果有相同翻译字段的话就可以缓存下

写代码的啊楠
关注
  • 29
    点赞
  • 踩
  • 23
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Python爬虫JS逆向X-Bogus，signature加密算法，AST 理论篇
梦想橡皮擦，专栏100例写作模式先行者，现象级专栏 《Python 爬虫 100 例》作者、《滚雪球学 Python 专栏》原创者
05-13 2万+
实战场景 AST 理论铺垫 AST 常见的节点AST 的公共属性AST 混淆逆向实战
【Python网络爬虫】爬虫常见加密解密算法
菜鸟叔叔的博客
06-11 2809
本文总结了在爬虫中常见的各种加密算法、编码算法的原理、在 JavaScript 中和 Python 中的基本实现方法，遇到 JS 加密的时候可以快速还原加密过程，有的网站在加密的过程中可能还经过了其他处理，但是大致的方法是一样的。常见加密算法：常见编码算法：Base64Crypto-JS 支持 MD5、SHA、RIPEMD-16...
python爬虫js逆向（标准算法加密）
benbenxinchen的博客
05-25 2781
答：加密前的内容一致时，加密后的结果一定相同！md5在线加密网站输入加密，发现真的是md5加密（对照加密后的字符串和前面网页控制台的n(o)后的字符串是否一样）。可以看出n()函数是MD5加密函数，o则是其中的待加密字符串（仔细观察发现是数据包中的请求载荷的参数）小知识点：常见的标准算法md5（32位）、sha1（40位）这种找标准算法的方法属于投机取巧了，有些并不是标准算法，而是js混淆，那么这个时候就需要另一种方法（补代码）！！！
【Python爬虫----加密解密】爬虫JS逆向时Python的加密解密，编码（MD5,AES,DES,RSA,base64,UrlEncode等）
m0_67844671的博客
09-20 3159
爬虫JS逆向时Python的加密解密，编码（MD5,AES,DES,RSA,base64,UrlEncode等）；解决base64 binascii.Error: Incorrect padding 报错问题；Python爬虫逆向常见加解密，编码算法讲解
【Python爬虫---js逆向】Js逆向之网易云音乐
m0_67844671的博客
09-08 2291
JS逆向，AES解密算法过程，网易云音乐JS逆向大概过程
python爬虫之js逆向入门：常用加密算法的逆向和实践
IMLiFeLong
10-22 2709
JS逆向的加密算法包括对称加密算法（如AES、DES、RC4）和非对称加密算法（如RSA、DSA、ECC）。在对称加密中，使用相同密钥进行加密和解密，速度快但需安全传输密钥。在非对称加密中，使用不同密钥进行加密和解密，公钥加密、私钥解密，可提供更好安全性但速度较慢。JS逆向需根据算法特点及已知知识进行识别和解密。
2024最新版JavaScript逆向爬虫教程-------基础篇之常用的编码与加密介绍(python和js实现)
Amo Xiang的博客
04-30 1640
密码学细节补充以及python对应算法封装
python爬虫之某站JS加密逆向分析
seaskyccl的博客
01-29 1867
第1次进入e2(e) ，进去前e还是明文的payload，进去了_u_e(e) 返回t '{"sort":1,"start":40,"limit":20}' 值没变。需要“翻页”动态加载数据，只要需要更改start即可，这个表示是开始条数，limit表示一次加载20条，比如60、80、100、120等等。这个时候，payload被加密了，但是还不是返回的值，继续下一步调试。返回u，就是加密的payload了。发现返回的值是d，也是加密的，可以使用拦截技术，获取到JS解密函数，解密d得到明文。
【python爬虫】js逆向分析及AES解密
serendipity1130的博客
03-06 3381
js逆向
Python-Python3爬虫实战JS加解密逆向教程
08-10
总结来说，"Python-Python3爬虫实战JS加解密逆向教程"涵盖的内容包括但不限于：使用Selenium进行动态内容抓取，JavaScript逆向工程，理解并应用加密算法，处理混淆代码，以及应对验证码和IP限制等。掌握这些技能将使...
python爬虫 - js逆向之猿人学第三题请求顺序验证+请求头验证.pdf
11-27
Python爬虫在处理JavaScript反爬策略时，常常会遇到一些挑战，例如请求顺序验证和请求头验证。在“猿人学”的第三题中，我们看到一个涉及到这些技术的例子。在这个问题中，我们需要解析一个带有JavaScript编码的数据...
python爬虫： 1、记录捕获各网站的数据 2、逆向JS（请求数据加密、响应数据解密）
11-16
总的来说，Python爬虫不仅需要掌握基础的网页抓取技巧，还应具备一定的JavaScript理解和逆向工程能力，以应对复杂的网页结构和安全机制。同时，持续关注网络爬虫的发展，学习新的库和技术，如Selenium用于处理动态...
jd-h5st加密算法与Python爬虫
03-04
总的来说，"jd-h5st加密算法与Python爬虫"项目是一个结合了JavaScript逆向工程、Python编程、网络请求和数据抓取的综合实践。通过这个项目，你可以深入理解网络爬虫的工作原理，学习如何处理加密的安全令牌，并提升...
Vue2 中对数组进行操作时需要注意什么
最新发布
m0_73882020的博客
09-06 470
在 Vue 2 中，对数组进行操作时，关键是确保操作能够被 Vue 的响应式系统检测到。使用 Vue 的响应式 API，如Vue.set或this.$set，可以确保数组的变化会被正确地反映到视图中。此外，避免直接修改数组的length属性或使用数组索引直接赋值，以确保视图的响应性。
WHAT - React 函数与 useMemo vs useCallback
weixin_58540586的博客
09-03 958
目录介绍`useMemo` 与 `useCallback` 的区别示例代码`useMemo` 示例`useCallback` 示例总结 介绍 在 React 中，useMemo 和 useCallback 是两个用于性能优化的钩子，尽管它们有些相似，但各自有不同的用途和应用场景。理解它们的区别和适用情况可以帮助你更有效地管理组件的性能和状态。 useMemo 与 useCallback 的区别 useMemo: 目的: 用于记忆化（缓存）计算结果。它接受一个计算函数和依赖项数组，只有当依赖项发生变化时
web开发
2301_76876837的博客
09-04 472
我们在访问的网站的时候，一般就是在浏览器的网址栏里输入，再敲个回车，我们就可以访问到我们想要的网站（比如京东）。这是为什么呢？我们访问的浏览器是一个程序，京东也是一个程序，只是京东在人家电脑上运行着，我们只是远程访问了人家的前端页面。我们根据下图来讲解一下web网站的工作流程：我们在浏览器输入我们想要查找的域名，回车（搜索）后，会到，前端服务器接受到请求后会把相对应的前端代码返回给浏览器，浏览器会自动解析前端代码（因为内置了解析引擎），展示出页面效果。前端代码里由一句代码会是访问。
Nginx部署前端Vue项目
不会代码的小林
09-03 1332
Nginx是一款轻量级的高性能Web服务器，可以用于静态文件的托管和反向代理等场景。现在，您可以在浏览器中访问http://example.com（请替换为您自己的域名），应该可以看到Vue应用程序正在运行。请将example.com替换为您自己的域名，将/var/www/my-project/dist替换为Vue项目的dist目录的实际路径。现在，我们需要配置Nginx来托管Vue项目的静态文件。接下来，我们可以使用Vue CLI创建一个新的Vue项目。在部署之前，我们需要先构建Vue项目。
浅析前端数据埋点监控：用户行为与性能分析的桥梁
dsgdauigfs的博客
09-03 1065
总的来说，前端埋点技术不仅是提升用户体验和产品运行效率的利器，更是实现数据驱动决策的重要工具。随着各类专业工具的出现，如腾讯有数、百度统计和微软Clarity，企业可以根据需求选择最适合的工具进行数据分析和优化，从而在竞争激烈的市场中保持领先地位。通过深入理解用户行为和性能数据，企业能够做出更明智的决策，推动业务持续发展，实现长期成功。通过本文的介绍，希望能够帮助前端开发者和产品团队更好地理解数据埋点的重要性，掌握实施数据埋点的方法，从而在实际工作中发挥其最大的价值。努力的小雨。
Python爬虫实战：MD5与RSA加密解密分析
本篇文章主要介绍了如何使用Python爬虫技术对某某街和某乐网的登录接口中的加密算法进行分析。首先，作者提到通过抓包工具观察请求，定位到了密码加密的位置。在登录过程中，发现密码经过了md5加密，这对于初学者来...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值