http cookiejar 模块
该模块主要的类有cookiejar,FileCookieJar,MozillaCookieJar,LWPCookieJar 这四个类的作用分别如下:
1,CookieJar:管理HTTP cookie值,存储HTTP请求生成的cookie,向传出的HTTP请求添加cookie的对象。整个cookie都存储在内存中,对cookiejar实例进行垃圾回收后cookie也将丢失。在Python处理Cookie,一般是通过http.cookiejar模块和urllib模块的HTTPCookieProcessor处理器类一起使用。http.cookiejar模块主要作用是提供用于存储cookie的对象。而HTTPCookieProcessor处理器主要作用是处理这些cookie对象,并构建handler对象。
2,FileCookieJar(filename,delayload=None,policy=None);从FileCookieJar派生而来,用来创建FileCookieJar实例,检索cookie信息并将Cookie存储到文件中,filename是存储cookie的文件名,delayload为True时支持延迟访问文件,即只有在需要时才读取文件或在文件中存储数据。
3,MozillaCookieJar(filename, delayload=None,policy=None),从FileCookieJar派生而来,创建于Mozilla浏览器cookies.txt兼容的FileCookieJar实例。
4,LWPCookieJar(filename, delayload=None,policy=None)),从FileCookieJar派生而来,创建与libwww.per标准的Set_Cookie3文件格式兼容的FileCookieJar实例。
利用http.cookiejar 和 request.HTTPCookierProcessor登录人人网,相关代码如下:
from http.cookiejar import CookieJar
from urllib.parse import urlencode
"""
cookie库的配置流程:
1. 创建一个CookieJar对象
2. 使用cookiejar对象,创建一个handler对象
3. 使用handler创建一个opener
4. 通过opener登录
5. handler会自动的保存登录之后的cookie
"""
# 第一步登录
# 1.1 创建一个cookiejar对象,存储HTTP请求生成的cookie
cookieJar = CookieJar()
# 1.2,使用cookiejar创建一个HTTPCookieProcessor对象,处理这些cookie对象,并构建handler对象
handler = request.HTTPCookieProcessor(cookieJar)
# 1.3,使用上一步创建的handler创建一个opener
opener = request.build_opener(handler)
# 1.4, 使用opener发送登录的请求(人人网的邮箱和密码)
headers = {
# 输入User-Agent头部信息
'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_5) AppleWebKit/537.36 (KHTML, like Gecko) '
'Chrome/75.0.3770.100 Safari/537.36',
}
data = {
'email': '', #输入自己的人人网账号
'password': '', #输入自己的人人网密码
}
# 人人网的很早的登入网站(最新的登入网站做了校验机制,现在不好登入...)
login_url = 'http://www.renren.com/PLogin.do'
# bytes --> decode -->str
# str --> encode -->bytes
# 此处data需要传递bytes数据类型
req = request.Request(login_url, data=parse.urlencode('utf-8'), headers=headers)
resp = opener.open(req)
# 第二步 访问某人主页
dapeng_url = 'http://www.renren.com/880151247/profile'
# 不用新建opener,因为之前的已经包含了登录所需要的cookie信息
req = request.Request(dapeng_url, headers=header)
resp = opener.open(req)
# 以写的方式('w')打开,将req2按照解码后的数据写入renren.html
with open('renren.html', 'w', encoding='utf-8') as fp:
#resp.read()读出来是一个bytes数据类型
fp.write(resp.read().decode('utf-8'))
#而write()必须写入一个str的数据类型
优化后(将每一步都定义成一个函数):
from http.cookiejar import CookieJar
from urllib.parse import urlencode
# headers在login_renren()和visit_home()中均需要用到,所以置到全局
headers = {
'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_5) AppleWebKit/537.36 (KHTML, like Gecko) '
'Chrome/75.0.3770.100 Safari/537.36',
}
def get_opener():
# 1.1 创建一个cookiejar对象
cookieJar = CookieJar()
# 1.2,使用cookiejar创建一个HTTPCookieProcessor对象
handler = request.HTTPCookieProcessor(cookieJar)
# 1.3,使用上一步创建的handler创建一个opener
opener = request.build_opener(handler)
return opener
def login_renren(opener):
# 1.4, 使用opener发送登录的请求(人人网的邮箱和密码)
url = 'http://www.renren.com/PLogin.do'
data = {
'email': '15666809216',
'password': 'beauty234',
}
req = request.Request(url, data=parse.urlencode('utf-8'), headers=headers)
resp = opener.open(req)
return resp
def visit_home(opener):
# 第二部 访问某人主页
dapeng_url = 'http://www.renren.com/880151247/profile'
# 不用新建opener,因为之前的已经包含了登录所需要的cookie信息
resp = request.Request(dapeng_url, headers=header)
req2 = opener.open(resp)
with open('/Users/mac/PycharmProjects/TEST/TEST/爬虫day/file/renren3.html', 'w', encoding='utf-8') as fp:
fp.write(req2.read().decode('utf-8'))
if __name__ == 'main':
opener = get_opener()
login_renren(opener)
visit_home(opener)