进行网页登录时,经常会碰到登录过程中出现好几次跳转的问题。
一般情况下,python3中的urllib.request会对重定向进行自动处理,但有些网站会在跳转过程中持续更换cookie,而urllib.request在自动处理重定向时不会更新cookie,于是有登录不成功的问题,或者说,跳转过程中因为cookie不对,又回到了登录界面。
这个问题简单粗暴处理就可以了,重写request中的重定向处理:
class NoRedirection(urllib.request.HTTPRedirectHandler):
'''
这个类用于处理重定向问题,原生重定向处理不会更新cookies,于是干脆不重定向,每次单独处理;
'''
def http_error_302(req, fp, code, msg, hdrs, newurl):
return [req, fp, code, msg, hdrs, newurl]
然后在构建urlopener的时候,添加重定向处理参数:
cj = http.cookiejar.LWPCookieJar('Cookie.txt')
ndh = NoRedirection()
ndhOpener = urllib.request.build_opener(urllib.request.HTTPCookieProcessor(cj), https_handler, ndh)
这样,就可以在登录发生重定向时根据具体情况进行处理,比如说更新cookie并重新访问:
request = urllib.request.Request(loginUrl, postD