python爬虫登录正方教务管理系统获取成绩数据

最新推荐文章于 2024-08-28 23:10:16 发布

shu_8708

最新推荐文章于 2024-08-28 23:10:16 发布

阅读量9.9k

点赞数 3

分类专栏： Python 文章标签： python 网络爬虫 HTTP通信正方教务管理系统

本文链接：https://blog.csdn.net/shu_8708/article/details/74612751

版权

本文介绍了如何使用Python进行网络爬虫，模拟登录四川理工学院的正方教务管理系统，获取成绩数据。首先，程序需要requests库支持，以及正则表达式解析网页。在HTTP通信中，需注意获取登录页面的__VIEWSTATE，并在请求验证码时携带cookies。登录时通过识别登录失败后的网页标题来判断登录状态。在查询成绩时，GET请求需包含学号、姓名和项目代码，并确保headers中包含referer。最后，代码能够处理输入错误并重新尝试登录。

摘要由CSDN通过智能技术生成

本程序以四川理工学院教务管理系统为例。。。。

准备工作：1.ruquests库的使用(或者urllib也可行)

2.正则表达式的书写

3.HTTP通信基础

4.一些解析库的使用

准备一个浏览器监视工具，这里我是用的是fiddler下载地址点击打开链接

登录官网获取到登录系统url:http://61.139.105.138/default2.aspx

这里可以知道浏览器是先请求登录页面，让后转到去获取验证码图片。

仔细分析验证码连接发现：

这个请求方式是get但包含有cookies

所以模拟登录前获取验证码时需要带上cookies否则登录会一直提示验证码错误

查看发送的请求

__VIEWSTATE可以在登录页面的脚本中捕捉到后面的数据便是post请求需要带上的数据

最后对于网页上的验证码问题，这里选择下载验证码图片并自动打开。

下面贴上模拟登录的代码

import requests
import re
from html.parser import *
import urllib.request
import os
x=[]
state=[]
class Scraper(HTMLParser):
    def handle_starttag(self,tag,attrs):
        if tag=='img':#验证码
            attrs=dict(attrs)
            if(attrs.__contains__('id')):
                x.append(attrs["src"])

最低0.47元/天解锁文章