python输出学生信息_记录Python模拟登录爬取Mysise学生管理系统的信息

进入学生管理系统的登录页面后，笔者用的是谷歌浏览器，按F12启动开发者模式，勾选Preserve log，原因是Mysise有重定向机制，过程中的POST请求会被重定向，不勾选会看不到POST请求

Network标签是显示捕获到的信息项

登录后捕获到一个POST请求，该请求用于提交用户名和密码（用于登录的真实请求地址）

接下来用Python模拟登录需要准备三样信息，第一样是请求地址，在General中可以看到Request URL:  http://class.sise.com.cn:7001/sise/login_check_login.jsp

第二样是请求头，Request Headers（包含各种属性），第三样是POST请求提交的表单（携带 用户名和密码等信息）

其中表单中有5个参数，第一个b74ecf92e26768c545bd2fac91220e5a:77d26418c74a62efa70938589ecb0ab9  是浏览器生成的，不同电脑登录会产生不同参数，是一个32长度的随机码，该随机码用于验证是否允许登录，random和token可以不需要也能模拟登录成功，接下来的两个就是用户名和密码了

所以我们第一件事要做的是获取随机码，构建完整的登录表单，在获取随机码前先讲一下cookie

什么是cookie：

当用户通过浏览器首次访问一个域名时，访问的Web服务器会给客户端发送数据，以保持Web服务器与客户端之间的状态，这些数据就是Cookie。

它是站点创建的，为了辨别用户身份而储存在用户本地终端上的数据，其中的信息一般都是经过加密的，存在缓存或硬盘中，在硬盘中是一些小文本文件。

当访问该网站时，就会读取对应网站的Cookie信息。

作用：记录不同用户的访问状态。

构建支持cookie的opener对象import urllib,urllib2

import cookielib

#设置cookie

c = cookielib.LWPCookieJar()

#设置cookie处理器

cookie = urllib2.HTTPCookieProcessor(c)

#设置登录时用到的opener，它的open方法相当于urllib2.urlopen（不过是带cookie的

urllib2.urlopen

）

opener = urllib2.build_opener(cookie,urllib2.HTTPHandler)

#安装不同的opener对象作为urlopen()使用的全局opener。

urllib2.install_opener(opener)

准备三样信息#请求地址

path="http://class.sise.com.cn:7001/sise/login_check_login.jsp"

#表单

[ username ]

[ password ]填写具体的信息    或者可以写成函数，通过传参进行构建   需要用字典的格式来构建表单

data={

'username':'[

username

]',

'password':'[

password

]',

}

#浏览器请求头  作用：伪装浏览器访问  也需要用字典的格式构建

headers={

'Host': 'class.sise.com.cn:7001',

'Content-Type': 'application/x-www-form-urlencoded',

'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/61.0.3163.100 Safari/537.36',

'Referer': 'http://class.sise.com.cn:7001/sise/',

'Accept-Encoding': 'gzip, deflate',

'Accept-Language': 'zh-CN,zh;q=0.8'

}

下面开始获取随机码，需要利用opener对象中的open函数打开登录页面  http://class.sise.com.cn:7001/sise/hidden_html = opener.open('http://class.sise.com.cn:7001/sise/').read()

#利用字符串查找和字符串索引提取关键字

hidden_html = hidden_html[hidden_html.find('

name = hidden_html[hidden_html.find('name="')+len('name="'):hidden_html.find('name="')+len('name="')+32]

value = hidden_html[hidden_html.find('value="')+len('value="'):hidden_html.find('value="')+len('value="')+32]

#提取后加入data表单

data[name]=value

最后开始登录#建立了一个Request对象来明确指明想要获取的url

req = urllib2.Request(path)

#加入浏览器请求头信息

req.headers = headers

#

对表单字典进行数据编码

data = urllib.urlencode(data)

html = urllib2.urlopen(req, data=data)

查看html的内容可以看出是否登录成功print html.read()

成功登录输出信息：

按下F12，正常访问课表页面，浏览器捕获到访问课表的真实地址

html_class = opener.open('http://class.sise.com.cn:7001/sise/module/student_schedular/student_schedular.jsp').read() #获取课表页面

print html_class

具体课程信息提取看各位自由发挥