本文介绍了cookie和session的概念及其在爬虫中的应用。cookie用于客户端记录状态，session则在服务端存储用户会话信息。在爬虫中实现登录，可以将登录后的cookie信息添加到请求头。session依赖cookie工作，当cookie被禁用时，可以通过URL传递sessionid或提示用户启用cookie。同时，文章提到了会话cookie和持久cookie的区别，以及在爬虫中使用requests库的session对象进行登录的方法。最后，讨论了代理服务器在爬虫中的作用，以及数据的结构化分类，如结构化、半结构化和非结构化数据。
1、产生的由来：
由于HTTP是一个无状态的协议，每次请求如果需要之前请求的一些信息，此时必须重发送之前的请求。为了解决这种问题，产生了一种记录状态技术--->cookie和session。
2、cookie在客户端记录状态。session在服务端记录状态。
3、在做爬虫的时候，如果要实现登录，只需要将浏览器中登录后的cookie信息封装到请求头中就可以实现登录了。
4、对于session会话， 其本来的含义是指有始有终的一系列动作/ 消息。而在web 中，会话对象用来存储特定用户会话所需的属性及配置信息。
当客户端发送一个cookie，服务器会从这个cookie中找到sessionId，在查找出相应session信息返回给客户端，来进行用户页面的流转。如果通过sessionid来查找session，发现session没有，因为第一次登陆，就会创建一个session。在session有效期内，继续访问该页面，服务器就会直接查找到这个session返回给客户端。
session什么时候失效呢？
当session的失效时间到达时失效，一般是30分钟。
5、cookies 指某些网站为了辨别用户身份、进行会话跟踪而存储在用户本地终端上的数据。
6、cookie和session一般是配合使用的。当cookie被用户禁用，session怎么使用？
有两种方法：
1.提示他必须开启。
2.使用url重传。--->就是将sessionid附带url后面传递给服务器
7、cookie的组成：
Name ： 该cookie的名称。一旦创建， 该名称便不可更改。
value ： 该cookie 的值。如果值为Unicode 字符， 需要为字符编码。如果值为二进制数据， 则需要使用BASE64 编码。
Domain ： 可以访问该cookle 的域名。例如， 如果设置为.zhihu.com ， 则所有以zhihu.com 结尾的域名都可以访问该cookie。
MaxAge ： 该cookie 失效的时间， 单位为秒， 也常和Expires— 起使用， 通过它可以计算出其有效时间。Max Age 如果为正数，
最低0.47元/天 解锁文章
4165
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
