Python爬虫进行Cookie登录

不太喜欢说废话，直接开始。

一、首先找到发送登录请求（post或get）的url：

可以用抓包工具来进行捕捉，我用的工具是fiddler。fidder的安装及使用方法大家自行百度。这里假设大家已经安装成功并且会使用该工具。（还是提醒一点吧，此工具与其他的工具有点不同，代理端口是8888，而不是8008）

当然也可以不用抓包工具，用浏览器的F12功能也可以看见：

首先，以一个需要登录之后进行操作的网站为例，比如我们学校的教务管理系统，你们可以试试自己学校的。

佛了，用的get方法，看得到了网址。

二、获得header：

很多网站不给header不能访问得到html源码，比如www.baidu.com就不可以，所以我们要组建header

此两项内容即可。

三、登录之后才能访问的网址

登录成功之后显示的网站是只有登录成功之后才能访问的，我们以此来证明访问是否成功，这个就比较简单了，大家正常登录教务系统，然后把网址复制即可得到。

四、代码实现

from urllib import request,parse
import urllib
#以教务管理系统为例
#登录请求的url，需要用抓包工具找到真正处理请求的网址
Url_beforLogin='http://xxx/teachweb/Login.aspx'
#必需登录后才能操作的网址
Url_afterLogin='http://xxxx/index1.aspx'
headers={
    'User-Agent':r'User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:62.0) Gecko/20100101 Firefox/62.0',
    'Connection':'keep-alive'
}
value={#写自己的用户名密码
    'username':'xxxxx13',
    'password':'xxxxxxxxx8AE1xxxC1x4',
    'role':'student'
}
postdata=urllib.parse.urlencode(value).encode()
#保存cookie到本地
import http.cookiejar,urllib.request
firename="cookietochangli.txt"
cookie=http.cookiejar.MozillaCookieJar(firename)
handler=urllib.request.HTTPCookieProcessor(cookie)
opener=urllib.request.build_opener(handler)

req=urllib.request.Request(Url_beforLogin,postdata,headers)
try:
    response = opener.open(req)
except urllib.error.URLError as e:
    print(e.reason)
#保存
cookie.save(ignore_discard=True, ignore_expires=True)
for item in cookie:
    print('Name ='+ item.name)
    print('Value ='+ item.value)
#使用cookie登陆get_url
get_request = urllib.request.Request(Url_afterLogin,headers=headers)
get_response = opener.open(get_request)
#看看是不是登录之后的页面的html码，是则成功
print(get_response.read().decode())

五、反复用cookie登录

读取刚才保存的cookie文件即可

import urllib.request, urllib.parse
import http.cookiejar
firename="cookietochangli.txt"
cookie=http.cookiejar.MozillaCookieJar()
cookie.load(firename,ignore_expires=True,ignore_discard=True)
handler=urllib.request.HTTPCookieProcessor(cookie)
opener=urllib.request.build_opener(handler)
response=opener.open("http://jwgl.cust.edu.cn/teachweb/index1.aspx")
print(response.read().decode('utf8'))

注意，由于session有20分钟的过期时间，所以，同一份cookie文件，只能20分钟内有效，可以反复登录，而标题4的代码重复运行不管多少时间都是没问题的，因为每次都是一个新的session。