06精通Python网络爬虫——Cookiejar实战

运行环境Python3.6.4

我们每访问互联网网页都是通过HTTP协议进行的，但是HTTP协议是一个无状态协议，即无法维持会话之间的状态。所以需要重复的登录。
解决办法：通过Cookie或者Session保存会话信息
进行Gookie处理的常见思路：
1）导入Cookie处理模块http.cookiejar
2）使用http.cookiejar.CookieJar()创建COOkieJar对象
3）使用HTTPCookieProcessor创建cookie处理器，并以其为参数构建opener对象
4）创建全局默认的opener对象

#登陆ChinaUnix论坛，事先得自己注册账号和密码
import urllib.request
import urllib.parse
import http.cookiejar
url = "http://bbs.chinaunix.net/member.php?mod=logging&action=login&loginsubmit=yes&loginhash=LhbEq"
postdata = urllib.parse.urlencode({
    "username":"Jock2018",
    "password":"888888"#使用自己定义的账号和密码
    }).encode('utf-8')#使用urlencode编码处理后，再设置为utf-8编码#构建数据
req = urllib.request.Request(url,postdata)#构建Request对象
req.add_header("User-Agent","Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36")
#使用http.cookiejar.CookieJar()创建CookieJar对象
cjar = http.cookiejar.CookieJar()
#使用HTTPCookieProcessor创建cookie处理器，并以其为参数构建opener对象
opener = urllib.request.build_opener(urllib.request.HTTPCookieProcessor(cjar))
#将opener安装为全局
urllib.request.install_opener(opener)
file = opener.open(req)
data = file.read()
file = open("D:/Python35/myweb/part5/6.html","wb")
file.write(data)
file.close()
url2 = "http://bbs.chinaunix.net/"#设置要爬取的该网站下其他网页地址
data2 = urllib.request.urlopen(url2).read()#爬取该网站下其他网页
fhandle = open("D:/Python35/myweb/part5/7.html","wb")
fhandle.write(data2)#将内容写入对应文件
fhandle.close()#关闭文件