爬虫cookie过期_Python爬虫四 requests处理cookie

本文详细介绍了Python爬虫中如何处理cookie,包括在headers中添加cookie、使用cookies参数接收字典形式的cookie以及利用requests.session进行会话保持。讨论了cookie的利弊,并提供了登录人人网的实践案例。
摘要由CSDN通过智能技术生成

requests模块处理cookie相关的请求

一、 爬虫中使用cookie

为了能够通过爬虫获取到登录后的页面,或者是解决通过cookie的反爬,需要使用request来处理cookie相关的请求

1.1 爬虫中使用cookie的利弊

1.带上cookie的好处

  • 能够访问登录后的页面.

  • 能够实现部分反反爬.

2.带上cookie的坏处

  • 一套cookie往往对应的是一个用户的信息,请求太频繁有更大的可能性被对方识别为爬虫.

  • 使用多个账号解决上面的问题.

1.2 requests处理cookie的方法

使用requests处理cookie有三种方法:

  • cookie字符串放在headers中.

  • 把cookie字典放传给请求方法的cookies参数接收.

  • 使用requests提供的session模块.

二、cookie添加在heades中

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值