第2关：requests 进阶

最新推荐文章于 2025-04-20 22:34:35 发布
最新推荐文章于 2025-04-20 22:34:35 发布
阅读量1.6k 收藏 10
点赞数 10
分类专栏： 头歌Python获取与清洗 文章标签： python html
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_55900042/article/details/135743286
版权
本文详细介绍了如何在Python中使用requests库结合cookies和session来实现网页爬虫，包括设置请求头、管理登录状态和高效会话。通过实例展示了如何创建session、处理cookies以及在登录后保持会话状态的代码片段。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

任务描述

本关任务：使用 session 编写爬取网页的小程序。

相关知识

为了完成本关任务，你需要掌握：cookie 与 session 的使用。

cookie 的使用

当你浏览某网站时，Web 服务器会修改修改你电脑上的 Cookies 文件，它是一个非常小的文本文件，可以记录你的用户 ID 、密码、浏览过的网页、停留的时间等信息。 当你再次来到该网站时，网站通过读取 Cookies 文件，得知你的相关信息，从而做出相应的动作，如在页面显示欢迎你的标语，或者让你不用输入 ID、密码就直接登录等等。

下面演示如何在 requests 中使用 Cookies ， 以百度搜索为例，在开发者工具查看请求头信息如下：

方法一： 将得到的 Cookies 信息写入请求头，模拟 GET 请求：

  1. header = {
  2. 'User-Agent': 'Mozilla/5.0 (Linux; Android 8.0.0; Pixel 2 XL Build/OPD1.170816.004) AppleWebKit/'
  3. '537.36 (KHTML, like Gecko) Chrome/83.0.4103.116 Mobile Safari/537.36',
  4. "Cookie": "BAIDUID=53B7CC4BFCDC39D2EF625C13D285429D:FG=1; BIDUPSID=53B7CC4BFCDC39D2EF625C13D285429D; "
  5. "PSTM=15916
最低0.47元/天 解锁文章
第二关 request进阶
weixin_64672972的博客
04-25 5409
编程要求 根据提示，在右侧编辑器 Begin-End 区间补充代码，完善函数 get_html()，使用 requests 创建 session 对指定网址发出请求 import requests def get_html(url): ''' 两个参数 :param url:统一资源定位符,请求网址 :param headers:请求头 :return html 网页的源码 :return sess 创建的会话 ''' # **...
Python教程：Requests 进阶操作
Python免费教程
04-18 578
人生苦短，我用 Python 超时设置 前面我们在介绍 urllib 的时候也介绍过超时，我们现在来看下在 Requests 中的超时应该怎么写。 import requests r = requests.get("https://www.geekdigging.com/", timeout = 1) print(r.status_code) 具体的执行结果小编就不贴了。 注意 time...
第二章：Requests库详解
最新发布
Kkyyssyyds的博客
04-20 542
目标。
python requests 进阶用法
诸葛老刘的博客
08-03 433
文章目录一. 会话对象1.1会话对象可以跨请求保持某些参数,1.2 会话可以为请求方法提供缺省数据1.3 参数合并1.4 建议使用的代码方式:上下文管理器 一. 会话对象 1.1会话对象可以跨请求保持某些参数, 会话对象具有requests API的所有方法. >>> import requests >>> s = requests.Session() >>> s.get("http://httpbin.org/cookies/set/sessionco
requests进阶——处理cookie、防盗链
什么时候才不是菜鸟....
12-24 548
requests；cookie；防盗链
python利用session来模拟登录进行爬虫抓取
南猫
05-31 686
很多网站内容在抓取时需要进行登录，不登录则无法获取到内容，这时就需要session来模拟进行登录的过程，有人会问使用cookie不行吗，当然不行，cookie只能在本地环境下使用，也就是你浏览器登录之后抓取cookie写入，然后再在本地运行脚本才能使用，当你放到服务器之后这个cookie就相当于失效的。 session模拟登录 ...
头歌requests爬虫-第二关
dearlwy521的博客
04-19 6664
import requests def get_html(url): ''' 两个参数 :param url:统一资源定位符,请求网址 :param headers:请求头 :return html 网页的源码 :return sess 创建的会话 ''' # ***************** Begin ******************** # # 补充请求头 headers={ 'User.
最强面试题整理第二弹：Python 进阶面试题（附答案）
Rocky0429
08-17 6293
大家好呀，我是 Rocky0429。 Python 面试的时候，会涉及到很多的八股文，我结合自己的经验，整理Python 最强面试题。 Python 最强面试题主要包括以下几方面： Python 基础（已完成） Python 进阶（已完成） Python 后台开发 爬虫 机器学习 对每道面试题会附带详细的答案，无论是准备面试还是自己学习，这份面试题绝对值得你去看，去学习。 1、Python 中类方法、类实例方法、静态方法有何区别？ 类方法：是类对象的方法，在定义时需要在上方使用“@classmetho
【Python开发者必读】：requests库进阶指南 - 异步IO与定制化请求头
[【Python开发者必读】：requests库进阶指南 - 异步IO与定制化请求头](https://img-blog.csdnimg.cn/9a0303443b1a4efba23c9bb724481218.png) # 1. requests库的基础使用 在本章中，我们将开始探索Python中的...
python爬虫实例——session自动登录并爬取相关内容
Fo*(Bi)的博客
07-13 1593
1、理解下 session (会话) 所谓的会话，你可以理解成我们用浏览器上网，到关闭浏览器的这一过程。session是会话过程中，服务器用来记录特定用户会话的信息。 比如今天双11，你淘宝网浏览了哪些商品，购物出里放了多少件物品，这些记录都会被保存在session中。 session 和 cookies 有什么关系呢？ session和cookies的关系还非常密切——cookies中存储着session的编码信息，session中又存储了cookies的信息。 当浏览器第一次访问购物网页时，服务器会返回
Python之requests爬虫
qq_44111805的博客
05-01 3218
第一关：requests 基础 代码： import requests def get_html(url): ''' 两个参数 :param url:统一资源定位符,请求网址 :param headers:请求头 :return:html ''' # ***************** Begin ******************** # # 补充请求头 header={"User-Agent": "Mozilla/
python爬虫——Requests基础
第一楼主的博客
10-19 1571
1、requests 的安装 如果本地 Python 环境没有安装 requests，可以在命令提示符窗口输入命令pip install requests，安装 requests 模块，如下图所示。 2、requests 的常用方法 1、GET方法 res = requests.get(url, params=params, headers=headers) 参数说明 url ：需要抓取的 URL 地址； params : 网址带参请求的方法，字典类型； headers : 请求头。 以
通过session实现通用爬虫--爬取到开心网账户的首页界面
也许会有_hui的博客
04-26 1525
目录 1.点开开心网的登录界面 2.获取login_url 以及 账号和密码 第一种方法 ：F12 找到form表单 第二种方法：Network 3.开始写代码 开心网的网址是http://www.kaixin001.com/ 我们接下来的操作是为了直接用session登录开心网，爬取账户主页的代码 1.点开开心网的登录界面 我们发现这是用form表单实现账号登录的 2.获...
利用requests模块中的session爬取登陆后的github页面
吃不胖的程序猿历程
07-11 1210
利用requests模块中的session爬取登陆后的github页面 从登陆界面入手，找到登陆接口 尝试爬取登陆后的主页，并保存session 用session保持登陆状态爬取其他页面 import requests login_url = 'https://github.com/session' login_name = input("请输入用户名:") login_pwd...
实验4 爬虫基础与人工智能基础
Junds0的博客
01-04 1197
当你浏览某网站时，Web 服务器会修改修改你电脑上的 Cookies 文件，它是一个非常小的文本文件，可以记录你的用户 ID 、密码、浏览过的网页、停留的时间等信息。本关使用的是手写数字数据集，该数据集有 1797 个样本，每个样本包括 8*8 像素（实际上是一条样本有 64 个特征，每个像素看成是一个特征，每个特征都是float类型的数值）的图像和一个 [0, 9] 整数的标签。为了完成本关任务，你需要掌握：requests 的安装和 requests 的常用方法。requests 的安装。
第1关：requests 基础
m0_55900042的博客
01-22 2253
本关任务：编写一个requests请求网页的程序。
使用cookie和session对页面进行爬取
小羽飞的博客
04-26 1178
当我们所需要爬取的数据需要验证登录时，则会用到post的请求方式来进行登录， 比如我们今天爬取开心网界面的信息 使用cookie进行抓取数据 找到对应界面，我们需要找到登录所需要的关键字段的信息，即账户和密码的字段id，name，class（优先级）等 同时因为我们提交上的信息是在一个表单中，我们还要找到对应的表单中的action 登陆成功以后 我们则需要首页，或者其他界面...
h5浏览器跳转打开微信小程序
qq_45320250的博客
09-04 2080
首先，在项目中引入微信 JSSDK。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Jerry&

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值