爬虫(5)一文搞懂cookie原理和使用(客官里面请,下饭文章吃饱再走)

什么是cookie:

在网站中，http请求是无状态的。也就是说即使第一次和服务器连接后并且登录成功后，第二次请求服务器依然不能知道当前请求是哪个用户。(看过’夏洛特烦恼’的朋友应该能知道在夏洛的梦境中的那次聚会,老师不认识同学们,但是当学生提到我就是送您收音机那个的时候,老师就明白这个学生是谁了,而这个cookie就好似是学生给老师说的送过的礼物在)cookie的出现就是为了解决这个问题，第一次登录后服务器近回一些数据(cookie)给浏览器，然后浏览器保存在本地，当该用户发送第二次请求的时候，就会自动的把上次请求存储的cookie数据携带给服务器，服务器通过浏览器携带的數据就能判断当前用户是哪个了。cookle 存储的数据量有限，不同的浏览器有不同的存储大小，但一般不超过4KB。因此快用cookde只能存储一些小量的数据。

cookie的格式:

Set-Cookie: NAME-VALUE: Expires/Max-age-DATE: Path-PATH: Domain-DOMAIN_NAME : SECURE

参数意义:

• NAME: cookie的名字。
• VALUE: cookie的值。
• Expires: cookie的过期时间。
• Path: cookie作用的站径.
• Domain: cookie作用的域名。
• SECURE: 是否只在https协许下起作用。

使用cookielib库和HTTPCookieProcessor模拟登录:

Cookie是指网站服务器为了精别用户身份和进行Session跟踪。而储存在用户时览器上的文本文件，Cookie可以保持登录信息到用户下次与服务器的会话。
这里以人人用为例，人人网中，要访问某个人的主页。必须先登录才能访问。登录说白了就是要有cookie信息。那么如果我们使用代码的方式访问，就必须要有正确的cookie信息才能抗问。解决方案有两种。第一种是使用浏览器访问,然后将cookie信息复制到headers下.
这里先示例不使用cookie时的访问主页:

• 因为这里没有使用cookie信息,因此人人网会拒绝我们访问别人的首页而转到登录页面,而我们实际爬取到的也不是主页的信息,而是登录的页面信息.

1.cookie复制的方式爬取信息

#encoding: utf-8
from urllib import request

#人人网大鹏url=http://www.renren.com/880151247/profile
#人人网登陆url = http://www.renren.com/PLogin.do
#不使用cookie登陆
dapeng_url ='http://www.renren.com/880151247/profile'
headers= {
   
    'User-Agent' : 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.132 Safari/537.36'

}
req = request.Request(url=dapeng_url,headers=headers)
resp = request.urlopen(req)
#为了观察的结果会更直观,我们把这个读出来的页面写入一个页面中打开,看一看爬出来的是不是大鹏的页面
#print(resp.read().decode('utf-8'))
with open('renrendapeng.html','w')as fp:
    """注意write函数只能传入一个str数据类型
    resp.read()读出来的是一个bytes类型的数据
    bytes -> decode  ->str
    str ->encode  ->bytes
    """
    fp.write(resp.read().decode('utf-8'))