华软校园内网爬虫

于 2021-02-08 15:12:33 发布
阅读量1.2k 收藏 7
点赞数 4
分类专栏： python、爬虫 文章标签： python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43640848/article/details/113757349
版权

关于华软学院课程表爬虫

项目源码下载，有用的话关注加点赞哦！！

文章目录

一、网址的作用

  1. 身份认证首页：http://class.sise.com.cn:7001/sise

    image-20201024163345767

  2. 登录验证：http://class.sise.com.cn:7001/sise/login_check_login.jsp

    • 验证成功返回的结果是：

      image-20201024163600902

    • 验证失败放回的结果是：

      image-20201024163621377

  3. 华软学生课表页：http://class.sise.com.cn:7001/sise/module/student_schedular/student_schedular.jsp

    • 当第二步成功的话返回的结果是：

      image-20201024163920667

    • 当第二步失败的话返回结果是：

      [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-s8E2UZy0-1612768251045)(C:\Users\clsld\AppData\Roaming\Typora\typora-user-images\image-20201024164034953.png)]

      这是因为没有通过验证，所以后端将页面重定向到第一步。

二、身份认证首页：http://class.sise.com.cn:7001/sise

  1. 首页源代码（有将无关紧要的去除）

    <html>
<head>
	<title>身份认证 </title>
	<meta http-equiv="Content-Type" content="text/html; charset=gb2312">
	<link rel="stylesheet" href="/sise/css/style.css" type="text/css">
	<script type="text/javascript" src="/sise/js/jquery-1.4.2.min.js"></script>
	<script type="text/javascript" src="/sise/js/jquery.cookie.min.js"></script>
	<script type="text/javascript" src="/sise/js/encode.js?0"></script>
</head>
<script>
function loginwithpwd() {
	if (document.all.username.value.length == 0) {
		alert("请输入用户名！");
		document.all.username.focus();	
		return;
	}	
	if (document.all.password.value.length == 0) {
		alert("请输入密码！");
		document.all.password.focus();		
		return;
	}	
	if ((document.all.password.value.length >0) && (document.all.username.value.length > 0)) {
		document.getElementById("Submit").disabled  = true;
		document.getElementById("Submit2").disabled  = true;
		form1.submit();
	}
}
function resetWin() {
	document.all.username.value = "";
	document.all.password.value = "";
	
	document.all.username.focus();
}
function Check_Nums() {
	if (event.keyCode == 13) {
		loginwithpwd();
	}
}
function goNext() {
	if (event.keyCode == 13) {
		form1.password.focus();
	}
}
</script>
<body  text="#000000" topmargin="0" leftmargin="0">
	<div align="center">
		<form name="form1" method="post" action="login_check_login.jsp">
			<input type="hidden" name="2df3c01c64e7817ec5529945fe5052e3"  value="3d3c43af87065e433e5c973059400829">
			<input id="random"   type="hidden"  value="1603527440833"  name="random" />
			<input id="token"  type="hidden" name="token" />
			 <div> <a href="/sise/coursetemp/courseInfo.html" target="_blank"><b>2020-2021学年1学期 排课信息查看</b></a></div>
			<div><img alt="有新班" src="/sise/images/new.gif"><a href="addclass.txt" target="_blank"><b><font color="red">选课撤课、删班通知（12）</font></b></a></div>
		<div><font size="2" color="#006666">学号：</font><input name="username" id="username" type="text" size="15" class="notnull" onkeypress="goNext()" ></div>
			<div><font size="2" color="#006666">密码：</font><input name="password" id="password" type="password" size="15" class="notnull" onkeypress="Check_Nums()" ></div>
			<div><input type="button" id="Submit" name="Submit" value=" 登  录 " class="button" onclick="loginwithpwd();" onmouseover="this.style.color='red'" onmouseout="this.style.color='#1e7977'"><input type="button" id="Submit2" name="Submit2"  value=" 重  写 " class="button" onclick="resetWin();" onmouseover="this.style.color='red'" onmouseout="this.style.color='#1e7977'"></div>
		</form>
	<div><a href="http://service.scse.com.cn/user/login" target="_blank" style="font-size:20px;">网络报修系统<br>(注：网络报修系统，由网络中心维护，有疑问可联系网络中心，电话87818122)</a></div>
	</div>
</body>
</html>

    • <form name="form1" method="post" action="login_check_login.jsp"></form>
//这里明显是一个form表单，将表单里面的参数提交的login_check_login.jsp页面
//在.jsp页面中可以使用<%request.getParameter("xxx")%>的到xxx属性的值，并验证和校验数据。

    • image-20201024170157933

      通过form里面的html，可以看出除了requestbody需要提交username的值和password的值之外，还需要提交2df3c01c64e7817ec5529945fe5052e3、random、token的值，所以这里提交的时候，Body中的值为：

      image-20201024170849069

    • 最重要的是JSESSIONID，服务器通过用户第一次访问登录首页时服务端返回set-SESSIONID设置cookie，可以猜测当用户提交表单的时候，服务器通过提交的cookie作为i唯一d把数据存到服务器中，这个保存在浏览器的cookie会有自动清除的时间，保存在服务端的cookie也会在一段时间后删除。

      image-20201025005246440

  2. 在模拟发送请求软件中模拟发送请求看能不能得到第二步的验证成功

    • image-20201025011528468image-20201025011549897

    • 从返回结果看，第二步验证失败，其实这里出现失败的原因是表单提交的数据不是放在body中，而是放在query中，把参数放在query后结果：

      image-20201025011627177

      eeee,从放回结果看，说明是验证成功了。

  3. index.jsp是这个页面：

    image-20201025005042073

三、华软学生课表页：http://class.sise.com.cn:7001/sise/module/student_schedular/student_schedular.jsp

  1. 因为上一步已近验证登录了，服务器已近保留了我们的cookie对应的信息，即包括用户名和密码，所以现在直接访问这个网址，并且伪装好浏览器的标识符Accept和User-Agent，最重要的是上一步的cookie，服务器通过这个cookie验证我们是否是前面的登录用户。

    image-20201025011036113

    通过返回可以看出我们已近获得了课程表的信息

    image-20201025011153942

四、python网络爬虫的实现
import requests
import re

url = 'http://class.sise.com.cn:7001/sise/'
toLogin_url = 'http://class.sise.com.cn:7001/sise/login_check_login.jsp'
JSESSIONID = ''
random = ""
post_key = 333
post_value = ''
username=''
password=''

def get_values():
    global JSESSIONID
    global random
    global post_key
    global post_value
    request = requests.get(url)
    html = request.content.decode('GBK')
    print(html)
    JSESSIONID = request.cookies.get('JSESSIONID')
    print("self.JSESSIONID:"+JSESSIONID)
    random = re.findall('<input id="random"   type="hidden"  value="(.*?)"  name="random" />',html,re.S)[0]
    values = re.findall('<input type="hidden"(.*?)>',html,re.S)[0]
    print("values:"+values)
    post_key = re.findall('name="(.*?)"',values,re.S)[0]
    print("self.post_key:"+post_key)
    post_value = re.findall('value="(.*?)"',values,re.S)[0]
    print("self.post_value:"+post_value)


def to_login():
    global JSESSIONID
    global random
    global post_key
    global post_value
    global username
    global password
    get_values()
    headers = {
        'Host': 'class.sise.com.cn:7001',
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:76.0) Gecko/20100101 Firefox/76.0',
        'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8',
        'Accept-Language': 'zh-CN,zh;q=0.8,zh-TW;q=0.7,zh-HK;q=0.5,en-US;q=0.3,en;q=0.2',
        'Accept-Encoding': 'gzip, deflate',
        'Content-Type': 'application/x-www-form-urlencoded',
        'Content-Length': '172',
        'Origin': 'http://class.sise.com.cn:7001',
        'Connection': 'close',
        'Referer': 'http://class.sise.com.cn:7001/sise/',
        'Cookie': 'JSESSIONID='+JSESSIONID,
        'Upgrade-Insecure-Requests': '1',
    }
    data = {
        post_key:post_value,
        'random':random,
        'username':username,
        'password':password
    }
    print("post_key:"+data[post_key])
    print("random:" + data['random'])
    print("username:" + data['username'])
    print("password:" + data['password'])
    result = requests.post(toLogin_url,headers=headers,data=data).content.decode('GBK')
    print("result:"+result)
    if result.find('<script>top.location.href=\'/sise/index.jsp\'</script>') == -1:
        return False
    else:
        return True
def student_schedular():
    global JSESSIONID
    headers = {
        'Host': 'class.sise.com.cn:7001',
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:76.0) Gecko/20100101 Firefox/76.0',
        'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8',
        'Accept-Language': 'zh-CN,zh;q=0.8,zh-TW;q=0.7,zh-HK;q=0.5,en-US;q=0.3,en;q=0.2',
        'Accept-Encoding': 'gzip, deflate',
        'Connection': 'close',
        'Referer': 'http://class.sise.com.cn:7001/sise/module/student_states/student_select_class/main.jsp',
        'Cookie': 'JSESSIONID='+JSESSIONID,
        'Upgrade-Insecure-Requests': '1',
    }
    url = 'http://class.sise.com.cn:7001/sise/module/student_schedular/student_schedular.jsp'
    student_class_html = requests.post(url,headers=headers).content.decode('GBK')
    print(student_class_html)
    MySchedular_dict = re.findall("class='font12'>(.*?)</td>",student_class_html,re.S)
    print(MySchedular_dict)

if __name__ == '__main__':
         username = input("学号：")
         password = input("密码：")
         if not to_login():
            print('获取失败！！！')
         student_schedular()

  1. 首先先通过getvalue()得到JSESSIONID和将浏览器信息保存到服务器，然后通过tologin()函数将jsession和form表单参数传给服务器，伪装成用户登录访问，服务器记录信息，最后通过student_schedular()将Jsessionid传给服务器，服务器返回课程表信息。

    image-20201025083640549

clsld
关注
  • 4
    点赞
  • 踩
  • 7
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
用Scrapy爬取Domain认证的内网数据比如SharePoint
踢砖头
12-18 3875
用Scrapy爬取Domain认证的内网数据只要是浏览器里面能够访问的东西，理论上都可以被爬虫爬取。有了这个信念，基本上所有问题就解决一半啦，笑~公司内部网络通常都是由域控制器统一做安全登录认证，这对于window系的公司尤为常见。通常爬取内网Domain服务器认证的内部网站，基本都会返回401错误，这就是告诉我们没有通过服务器的认证检验。 那么怎么做呢？安装requests-ntlm认证组件你需
内网如何使用webcontroller 爬虫框架_python爬虫框架：Scrapy框架基本使用
weixin_39754616的博客
11-25 374
1.分析页面确定爬取思路我们要抓取的页面很简单如下所示：首先页面没有使用任何的动态加载的技术，我们能够使用正则直接匹配，另外我们翻页也能够使用改变 url 的 offset 来实现思路梳理：(1)请求第一页得到源代码进行下一步分析(2)获取首页内容并改变 URL 链接准备下一页的请求(3)获取下一页源代码(4)将结果保存为文件格式或者存储进数据库3.scrapy 的初次使用创建项目>>...
简单写写华软mysise教务系统模拟登陆+获取课程表数据(打造自己的超级课程表)
zhaobisheng1的博客
12-25 6200
主要介绍一下华软mysise教务系统模拟登陆+简单获取数据最近比较多朋友问到这个，很多事情很难口头说的清楚，还是那句话好:「Talk is cheap,Show me the code」,如果你看完这篇文章，还不能理解mysise的模拟登录过程，那恕小弟表达能力不太够吧！！！模拟登陆的过程: 首先分析一下登录页面http://class.sise.com.cn:7001/sise/login.jsp
Python学习-网络爬虫(一)
qwzf
02-20 816
前言 Python模块：urllib模块
python爬虫——访问公司内网ip
weixin_45051787的博客
02-13 2749
import urllib.request def auth_nei_wang(): #1用户名密码 user ="admin" pwd = "admin123" nei_url = "http://192.168.179.66" #2创建密码管理器 pwd_manager = urllib.request.HTTPPasswordMgrWithPr...
华软课表爬虫的分析和实现
10-25
本篇博客是关于华软课表的爬取，进行了提交申请时的分析，最终通过python爬取课表信息。本篇博客是关于华软课表的爬取，进行了提交申请时的分析，最终通过python爬取课表信息。
HREduSystemSpider:华软学生教务系统爬虫
04-25
华软学生教务系统爬虫工具-HREduSystemSpider 华软Mysise教务系统是广州大学华软软件学院的学生教务系统，你可以点击登录华软Mysise。因学校有部分课程的课程设计是用代码方式获取有关Mysise内容的，而部分同学没有...
SISECourse:华软的课程爬虫
06-03
华软的课程爬虫 这个爬虫主要是爬取华软的所有选课信息的 因为懒，没去做模拟登陆，爬取课程信息的时候，需要，拿一个所有课程信息的html，这样就可以直接爬取所有课程信息了 数据库结构很简单，不知道怎么解释，最...
学校校园网微信小程序
06-25
"敖特滋"可能是开发者或团队的名字，而“华软资讯”可能是小程序的主题或功能，专注于提供校园内的软件信息、新闻或服务。 在创建这样一个学校校园网微信小程序时，可能会涉及到以下知识点： 1. **登录认证**：小...
广州大学华软软件学院学生信息管理系统爬虫(curl for mysise).zip
最新发布
03-04
【标题】"广州大学华软软件学院学生信息管理系统爬虫(curl for mysise).zip" 提供了一个关于学生信息管理系统爬虫的项目，该系统利用curl技术来与mysise平台进行交互，获取数据。 【描述】"人工智能-项目实践-信息...
华软新生注册系统（SSM）.rar
09-21
1、该项目主要用于新生到学校报道注册学籍所用。 2、该项目使用的是Eclipse开发工具。 3、该项目使用了Spring+SpringMvc+Mybatis+JSP+AJAX等技术。 4、数据库使用的是mysql关系型数据库。
内网搜索工具
09-29
局域网搜索工具用于搜索局域网中的电脑和文件，也可查看本地计算机信息、IP地址查询、TCP端口扫描、ping,局域网电脑发送信息等。 友情提示：软件打开会弹出一个导航网页，请选择下载。 局域网搜索工具是时下互联网常用的软件之一，该软件绿色、安全、无毒，让你可以放心使用！如果局域网搜索工具是你需要的工具，就赶紧来吧！本站为你提供局域网搜索工具官方下载。
html获取数据时显示undefinding_华软mysise教务系统模拟登陆+简单获取数据
weixin_39695241的博客
11-27 105
主要介绍一下华软mysise教务系统模拟登陆+简单获取数据最近比较多朋友问到这个，很多事情很难口头说的清楚，看完这篇文章还没理解的请关注公众号留言首先分析一下登录页面http://class.sise.com.cn:7001/sise/login.jsp的表单"form1" method= "hidden" name= "random" type= ...
Vue+php 后端PHP登录接口编写
LeachZhou的博客
07-13 4846
<?php session_start(); header('Access-Control-Allow-Origin: *'); error_reporting(E_ALL & ~E_NOTICE); //header("Content-type: text/html; charset=gbk"); /* 注意： 本ph
模拟登录学校教务网 获取课程表信息
jike_chengwei的博客
05-30 2577
最终效果： 第一步：使用 HttpWatch 对教务网抓包 使用Volley框架和HttpUrlConnection 获取课程表信息 获取cookie 之前自己在写模拟登录学校教务网信息的时候，找了一下博客上的前辈们的文章。 很多文章上写的cookie是在post登录消息的时候服务器返回的，可是根据我自己的抓包情况我发现我的cookie是在进入教务网登录页面的时候 服务器就返回了的（所
python输出学生信息_记录Python模拟登录爬取Mysise学生管理系统的信息
weixin_39972519的博客
11-24 186
进入学生管理系统的登录页面后，笔者用的是谷歌浏览器，按F12启动开发者模式，勾选Preserve log，原因是Mysise有重定向机制，过程中的POST请求会被重定向，不勾选会看不到POST请求Network标签是显示捕获到的信息项登录后捕获到一个POST请求，该请求用于提交用户名和密码（用于登录的真实请求地址）接下来用Python模拟登录需要准备三样信息，第一样是请求地址，在General中可...
建站系列教程（二）--本地局域网访问和域名解析
热门推荐
python爬虫人工智能大数据
09-17 1万+
第二讲：如何访问网站： 1、本地访问、局域网访问 安装wampsever集成软件，w:windows a:apache m:mysql p:php，也就是搭建了一个本地服务器环境。 打开软件，在任务栏可以看到绿色的图标，表示已经正常开启服务器环境，右击wampserver图标，打开文件位置，将代码拷贝到www目录下面 浏览器输入127.0.0.1即可本地访问网站，默认访问i...
华软供应链管理系统操作指南
"华软供应链管理系统实训操作流程.pdf" 华软供应链管理系统是一套全面的业务流程管理工具，旨在优化企业从原材料采购到产品销售的整个流程。以下是对该系统的详细操作流程解析： 一、采购合同管理 1.1 生成商务...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值