猿人学第13题思路解题python

第十三题：入门级cookie

这道配判定为非常简单的入门级题目着实让我这个爬虫刚入门的小白摸索了很久，主要就是sessionid与yuanrenxue_cookie的获取，话不多说，给你们分享一下我解题时的思路吧

1.解析过程

老规矩打开我们的f12开发人员调试工具

找到可疑的数据包，这里我们看到收到了三个名字为13的数据包，并且是对同一个地址请求的，这就非常可疑了

 观察cookie的变化

这里服务器给我们返回了一个sessionid这里就需要注意了，在完成题目过程中每个人的账号对应的数据不同，这里我们就需要使用requests.session保持长连接了，至于获得自己账号对应的sessionid这个我在请求表单里没找到是怎么登陆的，所以我在第一次请求13数据包时带入了浏览器中的cookie这个，获取属于我的一个sessionid，

 

 sessionid解决了，开始找除了hm开头的系统自带cookie跟数值为true不变的以外的cookie，还有一个yuanrenxue_cookie现在开始找

 由于chrome看不到第一个数据包的response数据我们进入袁仁学提供的采集分析工具简易postman对第一个13数据包https://match.yuanrenxue.com/match/13进行请求如图：

 这就很迷惑了粗开乱七八糟，近看直接有个cookie=，我们复制到调试工具控制台看看是什么东西，

 直接给我们了那就好办了，上代码：

import re

import jsonpath
import requests

s = requests.session()
# 设置我们登陆账号时候的cookie一边一会请求时服务器返回我们对应的sessionid
s.headers={
    'cookie':'Hm_lvt_9bcbda9cbf86757998a2339a0437208e=1638093665,1638251207,1638258714; sessionid=yqizyrtq2vr54ktcqok7ka0v90n6fk59; Hm_lvt_c99546cf032aaa5a679230de9a95c7db=1638093654,1638251198,1638258654,1638275262; qpfccr=true; no-alert3=true; Hm_lpvt_c99546cf032aaa5a679230de9a95c7db=1638275298; yuanrenxue_cookie=1638275997|VUSdtXFR7nPfBIvRb4b8AUaaV5gWeJKTeOo3m04Zo29UoavnucDrQd54PXzMpuP0ksdCwznmASN0pCu90RxGJu4A9QvorinInwIwUkp5G2yg72eBdlvPBu8VNUsIPdLxDOrAOs0JQ6Cv5f1p3QhDEbnon'
}
# 获取我们的yuanrenxue_cookie
res = s.get("https://match.yuanrenxue.com/match/13")
coo_obj = res.content.decode()
# print(s.cookies)
print(s.headers)
# 使用正则把yuanrenxue_cookie里的括号引号迷惑项去掉
coo_obj=str(re.findall("cookie=(.*?)\+'", coo_obj)[0])
coo_obj=coo_obj.replace("('",'').replace("')",'').replace('+','')# .replace('yuanrenxue_cookie=','')
# 这里获取服务器返回我们的sessionid，便于一会组装我们的cookie
for v,k in s.cookies.iteritems():
    sessionid=v+'='+k
# 组装我们的cookie，作为请求头一会请求时使用
headers_ = {
    "User-Agent": "yuanrenxue.project",
    'cookie':coo_obj+';'+sessionid
}
# 设置请求头
s.headers=headers_
nums=0
print(s.headers)
# 开始获取数据
for i in range(1,6):

    num_data=s.get(f'https://match.yuanrenxue.com/api/match/13?page={i}').json()
    # print(num_data)
    # 使用jsonpath跨界点提取value的值
    num_l=jsonpath.jsonpath(num_data,'$..value')
    print(num_l)
    for num in num_l:
        print(num,end='\t')
        nums+=num
print('\n最终结果：',nums)

运行结果：

 作为刚入门的爬虫小白，这样就值得我欢呼一晚上了，一次程序的成功运行是背后无数次调试换来的，这次就到此结束了，感谢大家。不懂来评论🤭