爬虫使用cookie模拟登录

使用cooklelib库和Httpcookieprocessora模拟登录
Cookie是指网站服务器为了辨别用户身份和进行 Session跟踪,而储存在用户浏览器的文本文件, Cookie可以保持登录信息到用户下次与服务器的会话。
这里以人人网为例。人人网中,要访回某个人的主页,必须先登录才能访问,登录说白了就是要有cookie信息。那么如果我们想要用
代码的方式访问,就必须要有正确的cookie信息才能访问。解决方案有两种,第一种是使用浏览器访问,然后将 cookie信息复制下来,放到 headers中。示例代码如下:

from urllib import request
headers =(
user-Aent':'Hozi11a15.e(indosNT1e.e;in64;x64)AppleMebKt/537.36(KHTHL,11keGecko)Chrome/62.8.3282.,94'；
'cookie':'anonymidsjacduz2x-8bldx; 'depovince':WG;_re1_=1;_g-6A1.2.1455063316.1511436360;1d=6A1,2.862627163.15
url='http://www.renren.com/880151247/profile'
req = request.Request(url, headers-headers)
resp = request.urlopen(req)
with open('renren. html',w)as fp:
  fp.write(resp.read().decode(utf-8"))

但是每次在访回需要cookie的页面都要从览器中复制cookie比麻烦。在Phon处理Cookie,一般是通过http.cookiejar模块
和urllib模块的Httpcookieprocessor处理器类一起使用, http.cookieiar模块主要作用是提供用于存储cookie的对象。而Httpcookieprocessor处理器主要作用是处理这些cookie对象,并构建handler对象。

 

保存cookie到本地保存cookie到本地，可以使用cookiejar的save方法，并且需要制定一个文件名：

from urllib import request
from http.cookiejar import MozillaCookieJar

cookiejar = MozillaCookieJar("cookie.txt")
handler = request.HTTPCookieProcessor(cookiejar)
opener = request.build_opener(handler)

headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.110 Safari/537.36'
}

req = request.Request('http://httpbin.org/cookies',headers=headers)

resp = opener.open(req)
print(resp.read())
cookiejar.save(ignore_discard=True,ignore_expires=True)