python爬虫，请求获得cookies，并且携带cookies的方法

最新推荐文章于 2024-07-30 10:53:26 发布

longfei815

最新推荐文章于 2024-07-30 10:53:26 发布

阅读量809

点赞数 9

分类专栏： python 案例文章标签： python 爬虫开发语言

本文链接：https://blog.csdn.net/jolinoy/article/details/135573370

版权

python 同时被 2 个专栏收录

32 篇文章 0 订阅

订阅专栏

案例

21 篇文章 0 订阅

订阅专栏

本文介绍了如何使用Python的requests库，通过发送请求获取网站cookies并利用它们抓取XueQiu异步加载的数据，包括两种方法：一是直接操作cookies，二是使用requests.Session管理cookies以实现更高效的数据获取。

摘要由CSDN通过智能技术生成

python代码：

方法一：

# 不需要登录网站，两步拿到数据
# 1.在网站首页发送请求，获取网站cookies
# 2.再次发送请求，携带cookies请求，即可得到数据

import requests
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/103.0.0.0 Safari/537.36',
}
# 给一个
main_url = 'https://xueqiu.com/'
response_main = requests.get(main_url, headers=headers)
print(response_main)
# 获取服务器端响应的cookie
cookies = response_main.cookies
print(cookies)
print(dict(cookies))
# 异步加载数据的url
url = 'https://xueqiu.com/statuses/hot/listV2.json?since_id=-1&max_id=366242&size=15'
response = requests.get(url, headers=headers, cookies=cookies)
print(response)

方法二：

import requests
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/103.0.0.0 Safari/537.36',
}
# 先访问首页 获取到cookie
session = requests.Session()   # 创建一个session对象
main_url = 'https://xueqiu.com/'
# 这里请求的目的就一个 拿到响应的cookie
session.get(url=main_url, headers=headers)

# 访问异步加载的地址 携带着cookie过去，session里面自带cookies，而且随时更新
url = 'https://xueqiu.com/statuses/hot/listV2.json?since_id=-1&max_id=366242&size=15'
res = session.get(url, headers=headers)
print(res)
print(res.json())