猿人学_第13题

君子以阅川

已于 2022-10-16 16:58:03 修改

阅读量362

点赞数

分类专栏： # 猿人学题目文章标签： python

于 2021-09-06 14:35:52 首次发布

本文链接：https://blog.csdn.net/m0_56104219/article/details/120133756

版权

猿人学题目专栏收录该内容

7 篇文章 1 订阅

订阅专栏

本文通过一个实际例子展示了如何利用Python的requests库抓取网页数据，并解析JS设置的cookie来获取所需信息。首先，请求一个JS文件并提取cookie，然后在后续请求中使用这个cookie来加载页面和获取数据。代码中涉及HTTP头部设置、正则表达式匹配及JSON数据处理。整个过程揭示了动态网站数据抓取的常见步骤。

摘要由CSDN通过智能技术生成

在这里插入图片描述
入门cookie

在这里插入图片描述

分析得到，第一个请求返回一个js文件，但是在浏览器中不会对其进行显示
在charles抓包工具中可以看到返回的是一个字符串拼接，是对cookie进行的操作
第二个请求使用上面添加的新的cookie进行页面的请求
第三个请求是对数据的请求，依然用到了上面的cookie，然后再将返回的结果渲染到页面中进行显示

请求了三次13第三个请求才是数据
第一个请求
在这里插入图片描述

其中有set-cookie所以要保持会话
返回结果为一个js代码，可以很简单的看到，其是对document.cookie进行的修改赋值
在这里插入图片描述

到了第二个请求就使用了第一个请求的修改过后的cookie，进行页面的加载
在这里插入图片描述
第三个请求才是真正的数据，页面加载时，只是将其中的值先使用150进行占位，当第三次请求返回时在将数据替换到其中去
刚开始占位时的页面都是用150进行填充

代码如下

# 开发时间 2021/9/6 11:20
# 修改时间 2022/10/16 16:52
import re

import requests

url = 'https://match.yuanrenxue.com/match/13'
headers = {
    'Host': 'match.yuanrenxue.com',
    'Connection': 'keep-alive',
    'sec-ch-ua': '"Chromium";v="106", "Microsoft Edge";v="106", "Not;A=Brand";v="99"',
    'Accept': 'application/json, text/javascript, */*; q=0.01',
    'X-Requested-With': 'XMLHttpRequest',
    'sec-ch-ua-mobile': '?0',
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/106.0.0.0 Safari/537.36 Edg/106.0.1370.42',
    'sec-ch-ua-platform': '"Windows"',
    'Sec-Fetch-Site': 'same-origin',
    'Sec-Fetch-Mode': 'cors',
    'Sec-Fetch-Dest': 'empty',
    'Referer': 'https://match.yuanrenxue.com/match/13',
    'Accept-Encoding': 'gzip, deflate, br',
    'Accept-Language': 'zh-CN,zh;q=0.9,en;q=0.8,en-GB;q=0.7,en-US;q=0.6',
    'Cookie': 'sessionid=cr0bsa62pjo8ge174tj1usxnfcik8cpa;Hm_lvt_c99546cf032aaa5a679230de9a95c7db=1665887019,1665888460,1665900743; qpfccr=true; no-alert3=true; Hm_lpvt_c99546cf032aaa5a679230de9a95c7db=1665908573;',
}

session = requests.session()
session.headers = headers
response = session.get(url)
text = response.text.replace("('", '').replace("')+", '').replace('<script>', '').replace("'", '')

cookie = re.findall('cookie=(.*?);', text)[0]
session.headers['Cookie'] += cookie

set_cookie = ";" + response.headers['Set-Cookie'].split(';')[0]
res = 0
for page in range(1, 6):
    if page > 3:
        session.headers['User-Agent'] = 'yuanrenxue.project'
        session.headers['Cookie'] += set_cookie
    url = 'https://match.yuanrenxue.com/api/match/13?page={}'.format(page)
    response = session.get(url)
    datas = response.json()['data']
    for data in datas:
        res += data['value']
print(res)