一.介绍:
要分析的网站是:七麦数据 -专业移动产品商业分析平台-关键词优化-ASA优化
二:页面分析
1:进入网址,按F12进入控制台,刷新页面,抓包,可以看到下图analysis参数,就是我们需要破解的参数
三、analysis参数获取
1:通过控制台,找到对应的js控制, Network ==>Initiator,点击共同的js
2: 由于是刷新页面,我们定位到get请求的js,点击跳转过去
3: 加密位置:
1): 直接搜索,搜索不到
2)通过XHR/ferch Breakpoints来断点,刷新页面,查看Call stack并断点查看,没有找到我们需要的analysis
3)请求拦截器定位: interceptors.request
查看拦截器函数代码,进行断点尝试,断点到a出,刷新页面,查看r很像analysis,观察,a是通过函数将r当成参数传进去的, 断点到a的下方,刷新页面,查看a的值,此时我们就得到a就是我们需要得到的analysis
四、加密逻辑分析
我们观察a的值的由来:a=(0,n.cv)((0,n.oZ)(r, l)), 将r和l当参数传入到oZ函数中,然后返回的值当作CV的函数的参数
1:首先我们先来解析r的值,先定义的r的值,然后拼接,将r的值放入cv函数中,得到r,在加上d + e对象的url替换后的baseURL, 在加上 d + o 的值,在加上 d + 1 的值,此时,我们就需要知道d,e, o ,三个是什么了
2:通过开始的定义,就可以得到o的值,通过断点调试,查看r和e的值
3:我们在回过头来,解析d和l,向上查找,d = (0,n.i)((0, n.Jx)("IRI=", l)),看d的定义,需要先解析l,我们在查看l,l = (0, n.nF)("qimai|Technologyx", 1), 通过l的定义,就要解析nF函数了,还有jx函数,以及i函数
4:全局查找Jx函数或者nF函数,此时我们得到了很多定义别明的函数,就可以开始对比转化,来进行解析了
Jx: ()=>d:
i: ()=>f:
通过对应查找,根据函数套函数以及转换,就OK了
四、源码
import time
import execjs
import requests
import random
class QiMai(object):
def __init__(self):
self.headers = {
'authority': 'api.qimai.cn',
'sec-ch-ua': '"Google Chrome";v="87", " Not;A Brand";v="99", "Chromium";v="87"',
'accept': 'application/json, text/plain, */*',
'sec-ch-ua-mobile': '?0',
'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.141 Safari/537.36',
'origin': 'https://www.qimai.cn',
'sec-fetch-site': 'same-site',
'sec-fetch-mode': 'cors',
'sec-fetch-dest': 'empty',
'referer': 'https://www.qimai.cn/',
'accept-language': 'zh-CN,zh;q=0.9',
}
self.date_str = str(time.strftime('%Y-%m-%d', time.localtime(time.time())))
def pull_base64(self, data_str, page):
"""
获取base64加密的analysis
:return:
"""
with open('./qimai.js', encoding='utf8') as f:
js_fun = execjs.compile(f.read())
analysis = js_fun.call('get_analysis', data_str, page)
return analysis
def pull_info(self):
"""
获取app数据
:return:
"""
page = 1
while page < 2:
analysis = self.pull_base64(self.date_str, page)
params = (
('analysis', analysis),
('brand', 'free'),
('country', 'cn'),
('device', 'iphone'),
('genre', '36'),
('date', self.date_str),
('page', page),
('is_rank_index', 1)
)
time.sleep(random.randint(2, 5))
response = requests.get('https://api.qimai.cn/rank/index', headers=self.headers, params=params)
json_response = response.json()
print(json_response)
page += 1
def run(self):
self.pull_info()
if __name__ == '__main__':
qm = QiMai()
qm.run()