Python —爬取教务管理系统,个人成绩

版权声明:本文为博主原创文章,遵循 CC 4.0 by-sa 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://blog.csdn.net/wukai0909/article/details/68936977

打开chrome的按F12进入,选择network,勾上preserve log(为了保存中间过程),输入上图的用户名密码,点击登陆。




比如POST方法或者查看login.aspx,这个就是我们提交表单的信息了,点进去拖到最下方可以看到form data,

可以看到提交的用户名密码,接下来只需代码模拟登陆的话把提交这个data里的信息就可以了。

下图的,本人学校的登入的用户名密码的表单。




登入进去后,为了爬取成绩需要转到成绩页面,不过不管怎么点击其他页面按键,发现网址始终不变:xxx.xxx.edu.cn/Index.aspx。

这是什么原理,目前还不太懂。不过chrome的network,勾上preserve log(为了保存中间过程),点击成绩查询,又收到2个文件。



cjcx:就是“成绩查询”的缩写,Request URL就是真实的地址。

所以真实的成绩查询地址不是:xxx.xxx.edu.cn/Index.aspx,而是:xxx.xxx.edu.cn/cjgl/xs_cjcx.aspx。

接下来,就需要用到cookie登入,然后正则表达式(各个学校不一样),匹配信息,并写入test.txt文件。

正则表达式,自己看了几个网页粗粗的学了下,没有学到家,可以匹配出所有的成绩,但是还是会匹配出一些垃圾信息出来。




下面就是代码部分:

#encoding=utf-8
 
import urllib
import urllib2
import cookielib
import re
import string

file_name1=r'C:\Users\112\Desktop\test.txt'
e = open(file_name1,'w+')

#绩点运算
class SDU:
    #类的初始化
    def __init__(self):
        #登录URL
        self.loginUrl = 'http://XXX.XXX.edu.cn/login.aspx'
        #本学期成绩URL
        self.gradeUrl = 'http://XXX.XXX.edu.cn/cjgl/xs_cjcx.aspx'
        self.cookies = cookielib.CookieJar()
        self.postdata = urllib.urlencode({
            'muser':'151100000',
            'passwd':'12345678'
         })
        self.headers = {'User-Agent':'Mozilla/5.0 (Windows NT 6.1)AppleWebKit/537.11 (KHTML, like Gecko) Chrome/23.0.1271.64 Safari/537.11'}  
	#构建opener
        self.opener = urllib2.build_opener(urllib2.HTTPCookieProcessor(self.cookies))
        #学分list
        self.credit = []
        #成绩list
        self.grades = [] 
		
    def getPage(self):
        request  = urllib2.Request(
            url = self.loginUrl,
            data = self.postdata,
            headers = self.headers) 
        result = self.opener.open(request)
        result = self.opener.open(self.gradeUrl)
        #打印登录内容
        #print result.read()
        page = result.read()
        print page
		#替换内容
        page = page.replace('','')
        page = page.replace('','')
        #正则匹配
        st= re.compile(r'.*?(.*?).*?(.*?).*?(.*?)(.*?)(.*?)(.*?)(.*?)')
        myItems3 = re.findall(st,page)
        print myItems3
        for item3 in myItems3:
          for i in range(7):
            e.write(item3[i]+'   ')
            print item3[i]
          e.write('\n \n ')
  
       
 
sdu = SDU()
sdu.getPage()
e.close()


展开阅读全文

没有更多推荐了,返回首页