爬虫入门实例九

import urllib.request
from http import cookiejar


#使用cookie先保存
# 设置文件来存储Cookie
filename = 'cookie.txt'
#创建一个MozillaCookieJar()对象实例来保存Cookie
cookie = cookiejar.MozillaCookieJar(filename)
#创建Cookie处理器
handler = urllib.request.HTTPCookieProcessor(cookie)
#构建opener
opener = urllib.request.build_opener(handler)
r = opener.open("https://www.douban.com/")
print(cookie)
print(r.read())
#文件保存
cookie.save(ignore_discard=True, ignore_expires=True)

保存到变量中

import urllib.request
from http import cookiejar

url = 'http://movie.douban.com'

filename = 'cookie.txt'

cookie = cookiejar.CookieJar()
#读取cookie内容到变量

#httpcookieprocessor创建cookie处理器
handler = urllib.request.HTTPCookieProcessor(cookie)

#创建opener
opener = urllib.request.build_opener(handler)

#opener打开网页
r = opener.open(url)
print(r.read())