06精通Python网络爬虫——Cookiejar实战

运行环境Python3.6.4

我们每访问互联网网页都是通过HTTP协议进行的,但是HTTP协议是一个无状态协议,即无法维持会话之间的状态。所以需要重复的登录。
解决办法:通过Cookie或者Session保存会话信息
进行Gookie处理的常见思路:
1)导入Cookie处理模块http.cookiejar
2)使用http.cookiejar.CookieJar()创建COOkieJar对象
3)使用HTTPCookieProcessor创建cookie处理器,并以其为参数构建opener对象
4)创建全局默认的opener对象

#登陆ChinaUnix论坛,事先得自己注册账号和密码
import urllib.request
import urllib.parse
import http.cookiejar
url = "http://bbs.chinaunix.net/member.php?mod=logging&action=login&loginsubmit=yes&loginhash=LhbEq"
postdata = urllib.parse.urlencode({
    "username":"Jock2018",
    "password":"888888"#使用自己定义的账号和密码
    }).encode('utf-8')#使用urlencode编码处理后,再设置为utf-8编码#构建数据
req = urllib.request.Request(url,postdata)#构建Request对象
req.add_header("User-Agent","Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36")
#使用http.cookiejar.CookieJar()创建CookieJar对象
cjar = http.cookiejar.CookieJar()
#使用HTTPCookieProcessor创建cookie处理器,并以其为参数构建opener对象
opener = urllib.request.build_opener(urllib.request.HTTPCookieProcessor(cjar))
#将opener安装为全局
urllib.request.install_opener(opener)
file = opener.open(req)
data = file.read()
file = open("D:/Python35/myweb/part5/6.html","wb")
file.write(data)
file.close()
url2 = "http://bbs.chinaunix.net/"#设置要爬取的该网站下其他网页地址
data2 = urllib.request.urlopen(url2).read()#爬取该网站下其他网页
fhandle = open("D:/Python35/myweb/part5/7.html","wb")
fhandle.write(data2)#将内容写入对应文件
fhandle.close()#关闭文件
  • 0
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值