python 爬虫(cookie)到底是干嘛的？

cookie和session区别

• cookie数据存放在客户浏览器上，session数据放在服务器上
• cookie不是很安全，别人可以分析放在本地的cookie并进行cookie欺骗
• session会在一定时间上保存在服务器。当访问增多，会比较占用服务器的性能。
• 单个cookie保存的数据不能超过4K，很多浏览器限制到一个站点最多保存20个cookie

爬虫处理cookie和session

带上cookie、session的优点:

能够请求到登录后页面

带上cookie、session的弊端:

• 不需要cookie的时候尽量不去使用cookie
• 但是为了获取登录后的页面，我们必须发送带有cookie的请求

一套cookie和session往往和一个用户对应

请求太快、请求次数太多、容易被服务器识别为爬虫

携带cookie的请求

携带一堆cookie进行请求，把cookie组成cookie池

处理cookie、session请求

requests提供了一个叫做session类，来实现客户端和服务端的会话保持

使用方法:

1. 实例化一个session对象
2. session发送get或者post请求

session = requests.session()
resp = session.get(url,headers)

请求登录之后的网站

未登录时我们无法