今天我们爬取一下某招标投标公共服务平台里的公告公示数据:
位置:某招标投标公共服务平台—信息公开—公告公示—搜索引擎
1.抓包
进行翻页:
发现所有的翻页数据,都是类似的加密字符串
并且有promise:
想到可能是拦截器:直接搜关键词interceptos
通过分析锁定解密逻辑:
2.分析:
进入解密函数:
再次确认:
注意到这里的解密逻辑,是DES:且知道了解密的key及mode
解决方案:
- 通过js的第三方库实现解密逻辑
- 用python库实现解密逻辑
3.代码:
这里博主决定用python中的crypto库来实现:
import base64
import requests
from Crypto.Cipher import DES
from Crypto.Util.Padding import unpad
import json
url = "https://custominfo.cebpubservice.com/cutominfoapi/recommand/type/5/pagesize/10/currentpage/5"
resp = requests.get(url, headers={
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/113.0.0.0 Safari/537.36"
})
data = resp.text
des = DES.new(key="1qaz@wsx111".encode("utf-8"), mode=DES.MODE_ECB)
r = des.decrypt(base64.b64decode(data))
r = unpad(r, DES.block_size).decode("utf-8")
print(json.loads(r))