运行环境Python3.6.4
我们每访问互联网网页都是通过HTTP协议进行的,但是HTTP协议是一个无状态协议,即无法维持会话之间的状态。所以需要重复的登录。
解决办法:通过Cookie或者Session保存会话信息
进行Gookie处理的常见思路:
1)导入Cookie处理模块http.cookiejar
2)使用http.cookiejar.CookieJar()创建COOkieJar对象
3)使用HTTPCookieProcessor创建cookie处理器,并以其为参数构建opener对象
4)创建全局默认的opener对象
#登陆ChinaUnix论坛,事先得自己注册账号和密码
import urllib.request
import urllib.parse
import http.cookiejar
url = "http://bbs.chinaunix.net/member.php?mod=logging&action=login&loginsubmit=yes&loginhash=LhbEq"
postdata = urllib.parse.urlencode({
"username":"Jock2018",
"password":"888888"#使用自己定义的账号和密码
}).encode('utf-8')#使用urlencode编码处理后,再设置为utf-8编码#构建数据
req = urllib.request.Request(url,postdata)#构建Request对象
req.add_header("User-Agent","Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36")
#使用http.cookiejar.CookieJar()创建CookieJar对象
cjar = http.cookiejar.CookieJar()
#使用HTTPCookieProcessor创建cookie处理器,并以其为参数构建opener对象
opener = urllib.request.build_opener(urllib.request.HTTPCookieProcessor(cjar))
#将opener安装为全局
urllib.request.install_opener(opener)
file = opener.open(req)
data = file.read()
file = open("D:/Python35/myweb/part5/6.html","wb")
file.write(data)
file.close()
url2 = "http://bbs.chinaunix.net/"#设置要爬取的该网站下其他网页地址
data2 = urllib.request.urlopen(url2).read()#爬取该网站下其他网页
fhandle = open("D:/Python35/myweb/part5/7.html","wb")
fhandle.write(data2)#将内容写入对应文件
fhandle.close()#关闭文件