本周练手加一
上次分享了两个练手喂饭教程,朋友好奇喂饭是啥意思?就是把知识当成饭,喂到嘴里。
同时咸鱼整理了一下过往所有关于JS逆向文章的代码,希望附上代码能让你学( 记 )的( 得 )更( star )快:
接下来继续练手,上次的项目二有读者反映讲的不是很明白,这次找了同类型的网站再来一次。
分析请求
打开 开发者模式 抓包 很快就可以看到下面这个请求返回的是我们需要的数据:
我们先根据这里的请求,写一份代码测试一下哪些是我们必须的参数:
类似这样:
import requests
url = "http://www.gsxt.gov.cn/affiche-query-area-info-paperall.html"
querystring = {"noticeType":"11","areaid":"100000","noticeTitle":"","regOrg":""}
payload = "draw=1&start=0&length=10"
headers = {
'Cookie': "__jsluid_h=aa1c7a0fc461a8ea63747a4b02956b38; __jsl_clearance=1565006542.706|0|D0rZ6Fm9vgqQ2QyKbNgIlZRkMsw%3D; SECTOKEN=6968716378603526401; UM_distinctid=16c61a8e0d03f5-01bbcf42e0196a-37647c02-13c680-16c61a8e0d17c1; CNZZDATA1261033118=2135658768-1565002015-http%253A%252F%252Fwww.gsxt.gov.cn%252F%7C1565002015; JSESSIONID=40B833BC895E78C1A2E6C2D74C1DE6F8-n2:2; tlb_cookie=S172.16.12.42",
'Origin': "http://www.gsxt.gov.cn",
'Accept-Encoding': "gzip, deflate",
'Accept-Language': "zh-CN,zh;q=0.9",
'User-Agent': "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_2) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.142 Safari/537.36",
}
response = requests.post(url, data=payload, headers=headers, params=querystring)
print(response.text)
通过不断删除 headers 中的参数并观察返回值,来判断哪些是必须携带的参数,哪些是无关紧要的参数。
测试过程比较繁琐就不一一截图演示,同时建议放慢测试请求速度,否则会触发网站的反爬措施。
经过测试可以发现 UA 以及 Cookie 中的 __jsluid_h __jsl_clearance SECTOKEN or JSESSIONID 都是不可缺少的参数。
分析参数的生成
现在就需要一一找齐参数是怎样生成的:
这里的 UA 就不需要分析了,直接复制浏览器的即可,这里需要注意的是这里的 UA 与 Cookie 还有 IP 是对应的,所以出现更换 UA 的情况那么 Cookie 就需要重新生成,这样的设置对于批量爬取的兄die是个难度不小的点,我们抱着学习的态度就不用考虑太多了。
接下来分析 Cookie 的生成,先看看 __jsluid_h
通过用浏览器抓包 可以看到 __jsluid_h 是通过请求 Set 进来的,我们照着来一遍就行。
接下来看看 SECTOKEN or JSESSIONID 和上面的参数套路一样,区别在于这个请求的 Cookie 中必须带上 __jsl_clearance
接下来需要关注的就只有 Cookie 值 __jsl_clearance
在这几个请求包里反复筛选都没有发现这个值是怎么写入的(怕漏掉的可以用 Fiddler 抓),那么就只可能是 js 生成的了。
通过不带 Cookie 的方式请求一次,可以看到网页返回了和上次文章中加密二类似的 js 代码 ,按照上次文章的套路,我们复制到 Console 中测试一下。
测试流程:
先把 eval 改成 console.log 让结果打印出来。
把测试结果复制出来格式化,可以看到格式化后的代码分为两个部分,主要的是上面的 Cookie 生成代码。
所以单独把上半部分代码复制出来调试即可,需要注意的是通过 Python 调用的 Node 环境不支持 document 这类浏览器属性所以调试的时候需要将它去除或在 Node 下执行不报错即可。
通过调试我们生成了下面这个字符串。
运用至 Python 中,即可请求到需要的数据了。
丢个效果图,溜了。