Cookie,指某些网站为了辨别用户身份、进行session跟踪而储存在用户本地终端上的数据(通常经过加密)。
举个例子,某些网站是需要登录后才能得到你想要的信息的,不登陆只能是游客模式,那么我们可以利用Urllib2库保存我们以前登录过的Cookie,之后载入cookie获取我们想要的页面,然后再进行抓取。理解cookie主要是为我们快捷模拟登录抓取目标网页做出准备。
我之前的帖子中使用过urlopen()这个函数来打开网页进行抓取,这仅仅只是一个简单的Python网页打开器,其参数也仅有urlopen(url,data,timeout),这三个参数对于我们获取目标网页的cookie是远远不够的。这时候我们就要利用到另外一种Opener——CookieJar。
cookielib也是Python进行爬虫的一个重要模块,他能与urllib2相互结合一起爬取想要的内容。该模块的CookieJar类的对象可以捕获cookie并在后续连接请求时重新发送,这样就可以实现我们所需要的模拟登录功能。
这里特别说明一下,cookielib是在py2.7中自带的模块,无需重新安装,想要查看其自带模块可以查看Python目录下的Lib文件夹,里面有所有安装的模块。我一开始没想起来,在pycharm中竟然没有搜到cookielib,使用了快捷安装也报错:Couldn't find index page for 'Cookielib' (maybe misspelled?)
之后才想起来是不是自带的就有,没想到去lib文件夹一看还真有,白白浪费半个小时各种瞎折腾~~
下面我们就来介绍一下这个模块,该模块主要的对象有CookieJar、FileCookieJar、MozillaCookieJar、LWPCookieJar。
它们的关系:CookieJar —-派生—->FileCookieJar —-派生—–>MozillaCookieJar和LWPCookieJar 主要用法,我们下面也会讲到。urllib2.urlopen()函数不支持验证、cookie或者其它HTTP高级功能。要支持这些功能,必须使用build_opener()(可以用于让python程序模拟浏览器进行访问,作用你懂得~)函数创建自定义Opener对象。
1、首先我们就来获取一下网站的cookie
例子:
1
2
3
4
5
6
7
8
9
10
11
#coding=utf-8
import cookielib
import urllib2
mycookie= cookielib.CookieJar()#声明一个CookieJar的类对象保存cookie(注意CookieJar的大小写问题)
handler= urllib2.HTTPCookieProcessor(mycookie)#利用urllib2库中的HTTPCookieProcessor来声明一个处理cookie的处理器
opener= urllib2.build_opener(handler)#利用handler来构造opener,opener的用法和urlopen()类似
response= opener.open()#opener返回的一个应答对象response
for itemin my.cookie:
print"name="+item.name
print"value="+item.value
结果:
1
2
3
4
5
6
7
8
9
10
11
12
name=BAIDUID
value=73BD718962A6EA0DAD4CB9578A08FDD0:FG=1
name=BIDUPSID
value=73BD718962A6EA0DAD4CB9578A08FDD0
name=H_PS_PSSID
value=1450_19035_21122_17001_21454_21409_21394_21377_21526_21189_21398
name=PSTM
value=1478834132
name=BDSVRTM
value=0
name=BD_HOME
value=0
这样我们就得到了一个最简单的cookie。
2、将cookie保存到文件
上面我们得到了cookie,下面我们学习如何保存cookie。在这里我们使用它的子类MozillaCookieJar来实现Cookie的保存
例子:
1
2
3
4
5
6
7
8
9
10
11
12
13
#coding=utf-8
import cookielib
import urllib2
mycookie= cookielib.MozillaCookieJar()#声明一个MozillaCookieJar的类对象保存cookie(注意MozillaCookieJar的大小写问题)
handler= urllib2.HTTPCookieProcessor(mycookie)#利用urllib2库中的HTTPCookieProcessor来声明一个处理cookie的处理器
opener= urllib2.build_opener(handler)#利用handler来构造opener,opener的用法和urlopen()类似
response= opener.open()#opener返回的一个应答对象response
for itemin mycookie:
print"name="+item.name
print"value="+item.value
filename='mycookie.txt'#设定保存的文件名
mycookie.save(filename,ignore_discard=True, ignore_expires=True)
将上面的例子简单变形就可以得到本例,使用了CookieJar的子类MozillaCookiJar,为什么呢?我们将MozillaCookiJar换成CookieJar试试,下面一张图你就能明白:
CookieJar是没有保存save属性的~ save()这个方法中:ignore_discard的意思是即使cookies将被丢弃也将它保存下来,ignore_expires的意思是如果在该文件中cookies已经存在,则覆盖原文件写入,在这里,我们将这两个全部设置为True。运行之后,cookies将被保存到cookie.txt文件中,我有 建立一个学习群 欢迎你加入q群号301056069如果你看了觉得还可以麻烦帮我点个赞,谢谢