湖南工业大学教务系统爬虫（课表获取篇）

最新推荐文章于 2023-10-18 04:27:28 发布
最新推荐文章于 2023-10-18 04:27:28 发布
阅读量3.6k 收藏 5
点赞数 1
分类专栏： 湖南工业大学网站 文章标签： 湖南工业大学 教务系统
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43999566/article/details/102075014
版权
本文介绍如何使用模拟登录和网页解析技术，从湖南工业大学新版教务系统中抓取课表信息。通过分析JSP页面结构，利用HttpURLConnection和Jsoup库进行数据提取，最终将表格数据转化为JSON格式。
摘要由CSDN通过智能技术生成
前言

之前写了模拟登陆的过程，因为爬课表需要先登录，所以没看过之前那篇博客的先回去看一下怎么通过模拟登陆获取cookie，下面是我用这些写的一个小程序和安卓应用
在这里插入图片描述在这里插入图片描述

分析

因为新版教务系统前端所使用的方式已经非常老了，他所有的页面都是采用jsp写的，这种写法的特点就是他会在后台就将页面渲染好再往前端发，所以没有json接口，我们要提取课表的话只能通过在源代码中提取

准备

我们此次获取数据需要用到的java类是：HttpURLConnection，解析html采用的是：Jsoup，第一个是jdk自带的类，第二个是一个第三方jar包

开始

课表页面地址：http://218.75.197.123:83/jsxsd/xskb/xskb_list.do ，在这里插入图片描述
我们右键检查发现这是一个表格布局，我们找到其中一项拿出来分析一下

最低0.47元/天 解锁文章
丿小王同学
关注
专栏目录
Python爬取教务系统课程表
03-10
用Python爬取新版正方教务系统课程表，涉及到rsa的加密密码。代码几乎封装了，改一下网站地址就可以使用了
湖南工业大学网络工程专业课表（大三，大四）
weixin_30756499的博客
08-14 1093
大三上学期。。一个学期八门课。呵呵，好。。 我自己的计划是大二上学期学好，学完，java,网络编程（php)，计算机网络原理.... 大二下学期学计算机操作系统，组成原理。等等等。。考网络工程师，软件工程师。。反正一定要提前学完它。争取在大三下学期学完所有课。。 转载于:https://www.cnblogs.com/tangcong/archive/2011/03/30/1999...
从头学习爬虫（三十八）进阶篇----教务网课程表下载
qq_36783371的博客
06-11 1308
教务网。。如有侵权删本文主要分析流程，实现教务网课程表下载。http://59.57.242.167/jwweb/ZNPK/KBFB_ClassSel.aspx1 页面分析 两个请求2 编写代码。发送get请求，获取img3 报错4 分析必须先post 再get实例化对象5 响应乱码6 解决乱码主要是二进制流，但是后面html需不需要去除位置JFIF转化jpeg需不需要标识7 demo测试8 结论...
（Python爬虫）爬取学校教务网课表
m0_62812713的博客
05-19 1473
我以我隔壁学校的教务网为例(强智科技)大家都可参照。直接上干货！！
数据抓包(网络爬虫)-正方教务管理系统登录后获取自己的课程表
靓仔！——没错！我叫你呢！
05-29 1万+
上次发的博客是：数据抓包(网络爬虫)-正方教务管理系统登录 好的，今天我们来抓自己的课程表数据，说实话，都会模拟登录了，抓个课程表的什么就不再话下了。 直接来步骤： 1.首先还是监视浏览器中得到自己课程表的过程，主要就是访问课表连接的那个过程。 2.从浏览器中获得课程表的链接。 3.需要用到登录成功的那个cookie。 4.添加必要参数，访问，获取数据。 请看源代码： //将当前源
河南大学教务系统爬虫！
最新发布
01-03
【标题】：“河南大学教务系统爬虫！”揭示了本次讨论的主题是关于使用Java前端技术构建一个能够抓取和处理河南大学教务系统数据的网络爬虫程序。爬虫是互联网数据挖掘的一种常见工具，它能自动浏览网页，提取所需...
正方教务系统爬虫
10-02
【正方教务系统爬虫】是一个专门针对正方教务管理系统设计的自动化工具，用于爬取并处理用户的个人课程信息和成绩数据。这个爬虫程序可以帮助用户方便地获取和导出所需信息，特别是对于需要定期查看或分析教务数据的...
重庆理工大学教务系统爬虫-JAVA版本.zip
12-30
在这个特定的案例中，这个Java版本的爬虫被设计来抓取重庆理工大学的教务系统数据，可能包括课程信息、学生成绩、课件资源等。 【描述】中提到的"重庆理工大学计算机课程、笔记、比赛、实训项目，全部源码均已进行...
大学教务处课表数据采集（以北京师范大学为例）课表采集 课表爬虫
bigcrab的博客
10-18 457
这套模板我也试过其他大学，小改一下应该是可以通用的，编码花费1个多小时，奶奶滴！听课去咯。
学校课程信息爬虫：Python爬虫获取课程表和学校活动信息
2201_76125393的博客
08-02 1095
本篇博客将带您深入了解如何使用Python编写爬虫，从学校网站上获取课程表和学校活动信息。我们将介绍如何选择目标网站、分析网站结构、处理查询参数等，同时为您提供充分的代码示例。跟随本文的指引，您将能够构建一个高效、稳健的学校课程信息爬虫，帮助您及时了解课程表和学校活动动态。
爬取教务系统课程表
weixin_43992524的博客
04-10 918
import bs4 import requests from PIL import Image from io import BytesIO import json url = [' http://urp.hebau.edu.cn:9001','http://urp.hebau.edu.cn:9002', 'http://urp.hebau.edu.cn:9003','http:/...
python 爬取学校官网课表信息（正方）
哈哈的博客
09-24 1977
爬取学校官网课表（正方教务系统）
湖南工业大学大学计算机教育网,湖南工业大学教务管理系统入口http://jwc.hut.edu.cn/...
weixin_42494628的博客
07-18 454
一、湖南工业大学教务管理系统入口及简介湖南工业大学是一所具有60年办学历史的综合性大学，是"服务国家特殊需求博士人才培养项目"高校。2006年2月，经教育部批准，学校由株洲工学院更名为湖南工业大学，同年合并了株洲师范高等专科学校和湖南冶金职业技术学院。学校以包装教育为特色，是我国第一个被国际包装协会(IAPRI)接纳的会员单位，是中国包装联合会包装教育委员会的主任单位，也是全国高校中惟一的中国包装...
selenium爬虫获取自己的课表信息
m0_52149525的博客
06-02 1523
selenium爬虫提取教务系统每天课表信息
贡献给个人课表的第一个爬虫
weixin_43716338的博客
03-26 815
很有趣的一个学习过程！
python模拟登录网站_python爬虫模拟登陆学校教务处
weixin_39517289的博客
11-24 401
最近在学python爬虫，我想教务处官网可能是每个学生第一个自己动手爬取的网站吧。而且很多学校的教务处没有验证码，很适合初学者练手。环境准备本次模拟登陆用到的库除了requests外还有lxml，我们用它来提取网页中隐藏的一些关于登陆的信息，登陆成功后也可以方便地用它来获取我们想要的内容。使用开发者工具分析登陆过程我们进入登陆界面，打开开发者工具，勾选preserve log，这表示持续显示请求过...
Python爬取URP教务系统课程表并保存到excel
qq_43613793的博客
11-11 2675
python爬取URP教务系统课程表并保存到excel 爬取URP教务系统课程表最终结果如图所示： 接下来开始操作： 首先打开教务系统->按F12->点击Network->刷新一下界面->获取headers 如图所示： headers={ 'Accept':'text/html,application/xhtml+xml,application/xml;q=...
数据抓包(网络爬虫)-正方教务管理系统登录
热门推荐
靓仔！——没错！我叫你呢！
05-19 1万+
本文是基于java EE6.0 + HttpClient + fiddler为基础的。 最近在学jsp，闲来无事，做点东西锻炼锻炼，也可以学习学习，想学习数据抓包。第一印象就是我们学校的正方教务管理系统，先拿它开涮。 好，我们现在进入正题，我这边是jsp的网页，所以jsp的环境配置我不说了，就着重讲一下这个抓包需要的工具吧：Fiddler，当然我这里还有jsp用到的HttpClient-jar
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值