【爬虫技能树】㈣、request.session()之应用场景

不会翻墙的泰隆

已于 2022-08-05 09:10:34 修改

阅读量1.9k

点赞数 5

分类专栏：爬虫爬虫技能树文章标签：爬虫前端服务器

于 2022-08-03 11:27:30 首次发布

本文链接：https://blog.csdn.net/fun_sn/article/details/126135094

版权

爬虫同时被 2 个专栏收录

20 篇文章 12 订阅

订阅专栏

爬虫技能树

5 篇文章 1 订阅

订阅专栏

本文介绍了如何通过request.session()方法保存Cookie，实现在登录后无需重新登录抓取数据的过程。重点讲解了登录表单提交、获取Cookie并应用到后续请求的步骤，以及未携带Cookie请求的对比，突出了Cookie在识别用户身份中的关键作用。

摘要由CSDN通过智能技术生成

简介

request.session()这个方法可以保存上次请求时的Cookie，有利于我们在登录场景中，post得到Cookie后，可直接请求网页，无需登录。
Cookie：由服务器产生，浏览器收到请求后保存在本地，当再次访问时，会自动带上Cookie，这样服务器就能通过Cookie来判断用户！

思路

首先Post提交表单数据，将登录信息给到服务器，通过之后拿到登录后的Cookie
利用session保存登录后的Cookie，再请求登录后的Url，拿到我们需要的数据

实现

获取登录后的Cookie

import requests

url = "http://127.0.0.1:8000/login/"  #　登录页

header = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/103.0.0.0 Safari/537.36"
          } #　请求头

session = requests.Session()  # 创建session

postData = {'usm': 'fun',
            'pwd': 'fun',
            }   #  表单数据


res = session.post(url,data=postData,headers=header)
print(res)  # 返回状态码

在这里插入图片描述
登录成功

请求登录后的网页

import requests


url = "http://127.0.0.1:8000/login/"  #　登录页

headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/103.0.0.0 Safari/537.36"
          }

session = requests.Session()  # 创建session

postData = {'usm': 'fun',
            'pwd': 'fun',
            }   #  表单数据

res = session.post(url,data=postData,headers=headers)
print(res)  # 返回状态码


# 请求登录后的页面
response = session.get('http://127.0.0.1:8000/login/next_step/select/', headers=header)
print(response.text)

在这里插入图片描述
这里请求了一个查询页，返回正确的网页源码，可能大家会有所疑问，要是不带上Cookie直接请求会返回什么？为了打消这个疑问，展示：

# 请求登录后的页面
import request
headers = {
		"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/103.0.0.0 Safari/537.36",
}

response = requests.get('http://127.0.0.1:8000/login/next_step/select/', headers=headers)
print(response.text) #返回网页文本