python爬虫之 正方教务管理系统查询成绩

最新推荐文章于 2024-08-01 15:04:56 发布
最新推荐文章于 2024-08-01 15:04:56 发布
阅读量4.4w 收藏 48
点赞数 13
分类专栏： python爬虫 python 小玩具
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/jnxxhzz/article/details/82745130
版权

目录

         前言

0. 依赖及代码头：

1. 登录

1) 验证码

2）登录请求构造

2. 跳转到成绩界面获取成绩

3. 输出成绩

4.整体代码

前言

以下的所有代码都基于python3

最近学习网络爬虫...加上我们学校的教务系统经常因为各种奇怪的原因没有办法读取界面啥啥啥的....所以这里准备写一个脚本挂到服务器上，之后增加到我的博客界面....方便所有人查询自己的成绩以及课表，课表的话爬取比较简单，因为跳转次数较少，方式也大同小异，所以这里只给出爬取成绩的具体思路

0. 依赖及代码头：

  1. Beautiful库，解析网页
  2. PrettyTable库，格式化输出
  3. PIL，抓取验证码并显示
  4. urllib库，http请求库

以下是代码头，这里我们需要构造一个opener来模拟在线连续访问

import re
import urllib.request
import urllib.parse
import http.cookiejar
import bs4
import getpass
import pickle
import os
import platform
import subprocess
from bs4 import BeautifulSoup
from prettytable import PrettyTable
from PIL import Image
from PIL import ImageEnhance
import pytesseract

#准备Cookie和opener，因为cookie存于opener中，所以以下所有网页操作全部要基于同一个opener
cookie = http.cookiejar.CookieJar()
opener = urllib.request.build_opener(urllib.request.HTTPCookieProcessor(cookie))

1. 登录

首先我们看到登录界面，需要提供三个内容{用户名，密码，验证码}，用户名和密码都是我们已知的，那么我们需要先解决第一个问题，就是这个验证码

1) 验证码

我们打开F12开发者工具，打开network，然后点击验证码刷新出一张新的验证码，然后就可以看到验证码的来源地址是http://zfxk.zjtcm.net/CheckCode.aspx

2）登录请求构造

我们先登录一次，然后同样的在network中找到我们的请求界面中找到我们登录时提交的表单

这里需要四个内容，{__VIEWSTATE,txtUserName,TextBox2,txtSecretCode},当然这里的RadioButtonList1也是需要填写的，这里显示不出来是因为这是中文表单，内容是“学生”，也就是我们登录时需要勾选的登录方式

__VIEWSTATE是为了防止攻击增加的内容，这个东西我们可以在登录前的界面中找到

txtUserName就是用户名，TextBox2中的就是密码，txtSecretCode中就是验证码

那么现在我们已经找齐了登录所需要的所有内容，现在只需要一个个组合成请求即可

用户名密码我们当然是需要输入的

username=input("输入用户名: ")
password=input("输入密码 ")

验证码直接去验证码链接中保存下图片，然后手动输入，当然也可以增加验证码识别功能....正方的验证码都是比较简单的基础验证码...稍微处理一下就可以达到较高的识别率，当然这里就不作赘述

res = opener.open('http://zfxk.zjtcm.net/checkcode.aspx').read()
with open(r'D:\code.jpg','wb') as file:
file.write(res)
im = Image.open(r'D:\code.jpg')
im.show()
vcode = input('请输入验证码：')
im.close()

以及获取__VIEWSTATE

response = urllib.request.urlopen('http://zfxk.zjtcm.net/')
html = response.read().decode('gb2312')
viewstate = re.search('<input type="hidden" name="__VIEWSTATE" value="(.+?)"',html)

在获取所有内容后，我们组成登录所需要的请求头

params = {
            '__VIEWSTATE'：viewstate.group(1)
            'txtUserName' : username,
            'Textbox1' : '',
            'Textbox2': password,
            'txtSecretCode'：vcode
            'RadioButtonList1':'学生',
            'Button1' : '',
            'lbLanguage':'',
            'hidPdrs':'',
            'hidsc':'',
        }

接下来我们使用这个表单请求登录

data = urllib.parse.urlencode(params).encode('gb2312')
response = opener.open(loginurl,data)

就可以完成登录了

以下是完整的登录代码

username=input("输入用户名: ")
password=input("输入密码 ")

while True:
    params = {
            'txtUserName' : username,
            'Textbox1' : '',
            'Textbox2': password,
            'RadioButtonList1':'学生',
            'Button1' : '',
            'lbLanguage':'',
            'hidPdrs':'',
            'hidsc':'',
        }
    #获取验证码
    res = opener.open('http://zfxk.zjtcm.net/checkcode.aspx').read()
    with open(r'D:\code.jpg','wb') as file:
        file.write(res)
    im = Image.open(r'D:\code.jpg')
    im.show()
    vcode = input('请输入验证码：')
    im.close()
    params['txtSecretCode'] = vcode
    #获取ViewState
    response = urllib.request.urlopen('http://zfxk.zjtcm.net/')
    html = response.read().decode('gb2312')
    viewstate = re.search('<input type="hidden" name="__VIEWSTATE" value="(.+?)"',html)
    params['__VIEWSTATE'] = viewstate.group(1)

    #尝试登陆
    loginurl = 'http://zfxk.zjtcm.net/default2.aspx'
    data = urllib.parse.urlencode(params).encode('gb2312')
    response = opener.open(loginurl,data)
    if response.geturl() != 'http://zfxk.zjtcm.net/default2.aspx':
        #获取学生姓名，之后需要使用
        catch='<span id="xhxm">(.*?)</span>'
        tmpname=re.search(catch,response.read().decode('gb2312'))
        name=tmpname.group(1)
        name=name[:-2]
        break

print(name)

2. 跳转到成绩界面获取成绩

同样的在network上找到查询成绩的直接地址，可以看到是

http://zfxk.zjtcm.net/xscj_gc.aspx?xh=(.?)&xm=(.?)&gnmkdm=N121605

xh后面是自己的学号，即登陆的username，xm则是登录后抓取的姓名在网页编码gb2312下的转义

当然这里有一点特殊的地方，如果我们直接在地址中输入我们构造出的查询界面的链接，会出现302跳转，在python下可能会报错

当然这也是一定程度上的网站防护措施

那么解决这一问题也很简单，我们可以猜想为什么我们正常点击可以跳转到页面，而直接输入链接却不行，最简单的猜想就是，在传递的表单中我们需要给出我们是从哪个界面跳转过来的，只有某些特定界面的跳转才被允许，并且查看一下network中的表头我们可以发现一项名为Referer

所以这一项也是非常重要的...需要同时构造在表头中，所以在查询成绩的这一步中，我们不止需要构造请求表单data，还需要构造表头headers

构造表单时，当然我们可以发现还是需要__VIEWSTATE这一项的，这一项当然可能会发生改变，所以我们去登录成功后的界面获取这一项的内容

req = urllib.request.Request(url)
print(url)
req.add_header('Referer','http://zfxk.zjtcm.net/xs_main.aspx?xh='+username )
req.add_header('User-Agent','Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36')
response = opener.open(req)
html = response.read().decode('gb2312')
# print(html)
viewstate = re.search('<input type="hidden" name="__VIEWSTATE" value="(.+?)"',html)

然后按上面的方式构造表头

params = {
    'ddlXN':'',
    'ddlXQ':'',
    'Button2':'在校学习成绩',
}
params['__VIEWSTATE'] = viewstate.group(1)

构造完data和headers后

我们就可以访问查询成绩的界面了

req = urllib.request.Request(url,urllib.parse.urlencode(params).encode('gb2312'))
req.add_header('Referer','http://zfxk.zjtcm.net/default2.aspx')
req.add_header('Origin','http://zfxk.zjtcm.net/')
response = opener.open(req)
soup = BeautifulSoup(response.read().decode('gb2312'),'html.parser')
html = soup.find('table',class_='datelist')

这里的response就是我们需要的成绩页面，然后就是怎么从成绩页面获取我们需要的内容了，这里我们使用BeautifulSoup这个库，直接find所有成绩标签

3. 输出成绩

这里使用prettytable库来格式化输出表单，当然这里也可以保存到excel中或者各种各样个人喜欢的方式.....


print('你的所有成绩如下：')
#指定要输出的列，原网页的表格列下标从0开始
outColumn = [1,2,3,4,6,7,8]
#用于标记是否是遍历第一行
flag = True

for each in html:
    columnCounter = 0
    column = []
    if(type(each) == bs4.element.NavigableString):
        pass
    else:
        #遍历列
        for item in each.contents:
            if(item != '\n'):
                if columnCounter in outColumn:
                    #要使用str转换，不然陷入copy与deepcopy的无限递归
                    column.append(str(item.contents[0]).strip())
                columnCounter += 1
        if flag:
            table = PrettyTable(column)
            flag = False
        else:
            table.add_row(column)
print(table)

 

以上就是简单的爬取正方教务系统在校成绩的代码

4.整体代码

import re
import urllib.request
import urllib.parse
import http.cookiejar
import bs4
import getpass
import pickle
import os
import platform
import subprocess
from bs4 import BeautifulSoup
from prettytable import PrettyTable
from PIL import Image
from PIL import ImageEnhance
import pytesseract

#准备Cookie和opener，因为cookie存于opener中，所以以下所有网页操作全部要基于同一个opener
cookie = http.cookiejar.CookieJar()
opener = urllib.request.build_opener(urllib.request.HTTPCookieProcessor(cookie))

username=input("输入用户名: ")
password=input("输入密码 ")

while True:
    params = {
            'txtUserName' : username,
            'Textbox1' : '',
            'Textbox2': password,
            'RadioButtonList1':'学生',
            'Button1' : '',
            'lbLanguage':'',
            'hidPdrs':'',
            'hidsc':'',
        }
    #获取验证码
    res = opener.open('http://zfxk.zjtcm.net/checkcode.aspx').read()
    with open(r'D:\code.jpg','wb') as file:
        file.write(res)
    im = Image.open(r'D:\code.jpg')
    im.show()
    vcode = input('请输入验证码：')
    im.close()
    params['txtSecretCode'] = vcode
    #获取ViewState
    response = urllib.request.urlopen('http://zfxk.zjtcm.net/')
    html = response.read().decode('gb2312')
    viewstate = re.search('<input type="hidden" name="__VIEWSTATE" value="(.+?)"',html)
    params['__VIEWSTATE'] = viewstate.group(1)

    #尝试登陆
    loginurl = 'http://zfxk.zjtcm.net/default2.aspx'
    data = urllib.parse.urlencode(params).encode('gb2312')
    response = opener.open(loginurl,data)
    if response.geturl() != 'http://zfxk.zjtcm.net/default2.aspx':
        #获取学生姓名，之后需要使用
        catch='<span id="xhxm">(.*?)</span>'
        tmpname=re.search(catch,response.read().decode('gb2312'))
        name=tmpname.group(1)
        name=name[:-2]
        break

print(name)

#构造url
url = ''.join([
        'http://zfxk.zjtcm.net/xscj_gc.aspx',
        '?xh=',
         username,
        '&xm=',
        urllib.parse.quote(name),
        '&gnmkdm=N121605',
    ])
#构建查询全部成绩表单
params = {
    'ddlXN':'',
    'ddlXQ':'',
    'Button2':'在校学习成绩',
}
#构造Request对象，填入Header，防止302跳转，获取新的View_State
req = urllib.request.Request(url)
print(url)
req.add_header('Referer','http://zfxk.zjtcm.net/xs_main.aspx?xh='+username )
req.add_header('User-Agent','Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36')

response = opener.open(req)
html = response.read().decode('gb2312')
# print(html)
viewstate = re.search('<input type="hidden" name="__VIEWSTATE" value="(.+?)"',html)
params['__VIEWSTATE'] = viewstate.group(1)
#查询所有成绩
req = urllib.request.Request(url,urllib.parse.urlencode(params).encode('gb2312'))
req.add_header('Referer','http://zfxk.zjtcm.net/default2.aspx')
req.add_header('Origin','http://zfxk.zjtcm.net/')
response = opener.open(req)
soup = BeautifulSoup(response.read().decode('gb2312'),'html.parser')
html = soup.find('table',class_='datelist')

print('你的所有成绩如下：')
#指定要输出的列，原网页的表格列下标从0开始
outColumn = [1,2,3,4,6,7,8]
#用于标记是否是遍历第一行
flag = True

for each in html:
    columnCounter = 0
    column = []
    if(type(each) == bs4.element.NavigableString):
        pass
    else:
        #遍历列
        for item in each.contents:
            if(item != '\n'):
                if columnCounter in outColumn:
                    #要使用str转换，不然陷入copy与deepcopy的无限递归
                    column.append(str(item.contents[0]).strip())
                columnCounter += 1
        if flag:
            table = PrettyTable(column)
            flag = False
        else:
            table.add_row(column)
print(table)

 

当然这份代码没有增加验证码识别以及美化成绩界面，之后可能会为了方便考虑将这份代码连接html后写入我的博客中...这样可以方便所有本校同学在各个地方查询成绩以及课表....

空白__
关注
专栏目录
python爬虫登录正方教务管理系统获取成绩数据
shu_8708的博客
07-06 9908
本程序以四川理工学院教务管理系统为例。。。。 准备工作：1.ruquests库的使用(或者urllib也可行)     2.正则表达式的书写                     3.HTTP通信基础                     4.一些解析库的使用 准备一个浏览器监视工具，这里我是用的是fiddler下载地址点击打开链接 登录官网获取到登录系统url:h
python二级成绩查询入口官网_python爬虫实战之模拟正方教务系统登录查询成绩
weixin_42395669的博客
01-14 2120
最近由于某些需要，开始入门Python网络爬虫，想通过一个Python程序来访问正方教务管理系统并且抓取到期末的成绩，由于我并没有深入了解过过其他的编程语言，所以，也比较不出Python和其他语言(如JAVA/PHP)的优缺点，只是因为我会Python，废话不多说，开工。首先说一下，我们学校教务系统的网址是http://222.24.19.201，我想到的流程是，登入教务系统，然后访问查成绩的网址...
正方系统查成绩
10-22
如果你们学校还能够用xsjicx.apsx等代码，就没必要下载这个了。这个软件算是查成绩的绝版了吧，之前我有找出近10个查成绩的方法，反正都是改网址的方法，只是代码不一样而已。后来悲剧了，全被封了。这个是唯一存活的，一般这个是不会被封的。
微信查成绩——正方教务系统
10-12
SAE代码、支持正方教务系统，突破验证码
基于Web的爬虫系统设计与实现
最新发布
laojin1234的博客
08-01 897
视图（View）：视图就是views.py中的函数，也就是逻辑代码，为了将URL和视图关联起来，用到了上述的URLConfs，URLConfs将URL模式映射到视图中，每个视图有两件事是必须要做的：返回一个包含被请求页面的HttpResponse对象，或者抛出一个异常。
python爬虫——正方教务系统成绩查询
AXing的博客
08-30 6417
python爬虫——正方教务系统成绩查询前阵子刚刚学完python基础，于是开始着手python爬虫学习 目标：利用python模拟登陆，进入学校正方教务系统，并获取成绩数据放回到自己的HTML页面。
江西理工大学正方教务系统查成绩（模拟登录）
Ethan 的博客
06-19 6442
l 我写的查成绩快捷通道在树人网公布一个学期了，也应收到大量同校同学的询问，与大量的建议与批评，首先很感谢大家。前两三个月因为在准备软考，与本专业认证考试H3CNA，和这个考试月，一直泡在图书馆，没很多时间来给大家解答，现在考试告一段落，我觉得有必要给大家一点提示，继续二次开发，为江理学子服务。。 博主用的技术是：PHP 5.5.12 及html 、js、bootstrap等前端相关知识。 思
利用Python获取正方教务系统在校成绩
mgsky1的博客
02-19 3985
今天要说的一个小项目是利用Python来获取正方教务系统的在校成绩，说白了这就是一网络爬虫。做之前也有上网搜索了一下资料，这里就给一个总体的思路吧，就以我学校的作为例子。不过遗憾的是并没有添加验证码的破解功能，还需要手动输入。希望能够帮助到一些朋友。以下的代码全部基于Python3。开始之前：1、请自行安装BeautifulSoup 用于网页解析2、请自行安装PrettyTable 用户格式化输出...
正方教务管理系统.zip
08-22
"正方教务管理系统"是一个基于Python爬虫技术的实战项目，主要目的是抓取和解析教育机构使用正方系统中的教务数据。Python爬虫在IT行业中被广泛应用于数据采集，尤其是在没有公开API或者需要获取网页动态数据时。这...
爬取正方教育管理系统--爬虫--python
07-01
2. **正方教育管理系统**：正方系统是中国很多高校普遍采用的教务管理软件，它包含了学生信息管理、课程安排、成绩发布等功能。爬取该系统需要了解其网页结构和数据的组织方式。 3. **网络爬虫**：网络爬虫是一种...
正方教务教务系统 请求接口
08-30
在IT行业中，教务系统是学校管理日常教学活动的核心平台，正方教务系统就是其中的一款广泛应用的系统。为了方便开发者构建与教务系统相关的校园服务应用，如成绩查询、课表查询、个人信息查询等，有开发者封装了教务...
Python爬取成绩
y4ung
02-03 5260
初衷、具体实施 (๑•̀ㅂ•́)و✧ 初衷 刚上大一的时候觉得查课表好麻烦啊，查成绩好麻烦啊。就一直想着能不能自己写个小程序用来查询成绩啊查查课表之类的云云。然后上课时听老师说了Python这门语言，第一眼看到这个单词觉得挺有感觉，然后就查了一下，发现了爬虫这个名词……然而一开始连登陆都不会 /(ㄒoㄒ)/~~，绕了很多弯路。今天写下这个小练习的过程以及遇到的困难等等。不足之处还请指出...
Python模拟登陆教务系统爬取成绩信息+绘制成绩分布图+导入MySQL
Polaris的博客
09-03 3397
这是一篇介绍如何通过Python实现模拟登陆学校教务系统并爬取成绩相关信息（学期,课程名,总成绩,课程性质,学分）然后绘制成绩分布折线图最后导入MySQL数据库中的文章 为了利用充分利用selenium的功能和成功爬取数据，需要有前置的html、css、简单爬虫的相关知识 说明：我学校的成绩查询页面是通过加载js框架进而动态实时加载显示表格及数据的，如果仅仅是用一般的爬虫方法直接爬取页面信息，是不能成功的，因为那样是直接获取网页源码，其中并没有成绩数据。当然，采用某些爬虫方法肯定也能实现爬取js动态网页，但
python提前查成绩_Python爬虫案例——正方教务学生成绩获取（自动识别验证码）...
weixin_39634052的博客
12-22 2177
刚刚进入假期，学校开放了期末成绩查询，奈何正方教务的各种卡顿。很多学弟学妹问有没有好办法能够解决，闲来无事写了一段自动获取的爬虫程序练练手。环境Python3.7Jupyter主要库requestsBeautifulSoupPILpandas老气的登录界面...一、分析及获取登录提交数据首先观察网页，由于这个地方比较简单，我们就使用Chrome的开发者工具中的Network抓包。把css 图片之类...
php模拟登陆正方教务系统csdn,curl模拟登陆正方教务系统查成绩，出现Object moved to here，已登陆首页获取cookie...
weixin_30772189的博客
04-01 1615
代码如下：functioncurl_request($url,$post=””,$cookie=””,$returnCookie=0){$curl=curl_init();curl_setopt($curl,CURLOPT_URL,$url);curl_setopt($curl,CURLOPT_USERAGENT,“Mozilla/5.0(compatible;MSIE10....
【Grades Crawler】利用python编写爬虫 爬取西电教务处成绩并本地保存
指尖舞语千秋的专栏
04-25 4107
项目介绍 由于教务处成绩不易自己打印，故编写爬虫, 其可以将自己的（需要合法的学生帐号信息）教务处成绩爬取下来，并本地保存为excel格式或直接保存在sqlite数据库中 需额外安装的 libraries bs4, xlrd, xlwt(保存成绩为excel格式) python代码 # -*-encoding:utf-8-*- # coding=utf-8 __author__ = 'ysc'
python爬虫实例-爬取北邮研究生成绩
热门推荐
张小琦的博客专栏
07-15 1万+
python爬虫实例-爬取北邮研究生成绩，涉及到获取sessionID ， 验证码图片识别，StringIO，网页编码，python的debug log
利用python3 爬取教务处实现自动查询成绩并发送给用户QQ邮箱
逍遥
01-18 8593
1.登录和识别验证码过程我使用的Google浏览器，编译器是PyCharm2017.2.4，首先进入教务处主页，如下所示:在登陆界面发现需要用户进行填写的选项主要有用户名(学号)，密码，验证码以及身份的选择，其中身份默认是学生，那么显然在登录过程中我们所需要做的显然就是填写这些信息来实现登陆的操作。为了了解这些属性在登陆界面的网页中的情况，我们先使用一次错误的登录请求，使用开发者工具检查网页的状态
python+selenium去学校教务在线查询本学期成绩
weixin_47128538的博客
07-20 369
from selenium import webdriver from selenium.webdriver.common.action_chains import ActionChains import pytesseract from PIL import Image import time from selenium.webdriver.common.keys import Keys driver = webdriver.Chrome() driver.maximize_window() drive.
评论 5
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值