今天打算爬取某网站的招聘数据时,发现返回来的东西是被加密过的,用postman模拟请求返回的结果如下
开始逆向,打开F12,打断点,还好没有debug反爬,跟踪到发现解析请求的时候会调用AES解密
然后去研究了一下AES解密,它一共需要三个参数,第一个是待解密的数据,也就是请求返回的乱码,第二个是密钥,也就是请求返回的第二个参数。第三个是偏移量,底层是二进制数据,表现形式是字符串。
继续跟踪进去,发现三个参数都有了,然后网上找了个AES代码,慢慢调试。
代码如下
最后把代码封装成Util给爬虫调用
模拟请求终于能得到结果了