爬取学校超星网上未完成作业或考试,并输出至qq邮箱

最新推荐文章于 2024-05-19 10:15:34 发布
最新推荐文章于 2024-05-19 10:15:34 发布
阅读量1.1w 收藏 23
点赞数 6
分类专栏： java爬虫 文章标签： 爬虫 java maven
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_47503001/article/details/120191382
版权

爬取学校超星网上未完成作业或考试,并输出至qq邮箱

项目结构采用我之前编写的爬虫模板
爬虫模板.

相关接口

因为完成代码和写这篇笔记隔了好几天的,懒得截图接口信息了,这里就贴上我之前爬取的笔记,可以自己去抓取下练练手

courseid,classid,cpi等参数为 id 类,是不变的,且后续网站提供的链接并无此类参数,可以储存起来,
而每个链接都需要enc,而enc随机生成,每个链接都不一样,所以不能采用一步到位爬取,得依次爬取解析html取出链接访问

/**
 * 姓名,学号,电话接口: 
 *  这里是会有参数的,但是我当时忘了贴
 * 	@返回:html
 * http://passport2.chaoxing.com/mooc/accountManage	
 * 
 * 课程数据接口:
 * 这里是会有参数的,但是我当时忘了贴
 *  @返回:html
 * http://mooc1-1.chaoxing.com/visit/courselistdata
 * 
 * 课程首页接口:
 *  @参数:可来自课程数据接口
 * courseid,courseid,cpi为
 * 	@返回:html   
 * https://mooc2-ans.chaoxing.com/mycourse/stu?courseid=???&classId=???&cpi=???&enc=cda787016ce2c1f162fe6230b02bf948&t=1630417924301&pageHeader=9
 * 
 * 课程作业接口:
 *  @参数:来自课程首页
 *  @返回:html
 * https://mooc1.chaoxing.com/mooc2/work/list?courseId=?&classId=?&cpi=?&enc=27719c62b0263f5249aa52edea81c125&
 * 
 * 课程考试接口:
 *  @参数:来自课程首页
 *  @返回html
 * https://mooc1.chaoxing.com/mooc2/exam/exam-list?enc=a13c03b8366c587872c31e0a5d16eac6&openc=5a474025b333b5b147076b1eb3c38ab3&courseid=???&clazzid=???031&cpi=???&ut=s
 * 
 * 课程任务接口:
 *  @参数:来自课程首页
 *  @返回:json
 * https://mobilelearn.chaoxing.com/v2/apis/active/student/activelist?fid=1971&courseId=???&classId=???
 *

思路

获取课程信息->构造首页链接->访问考试,作业接口->解析出未完成,并添加到json,

得到接口后,就开始分析.因为访问课程考试,作业信息时,有enc参数,此参数不固定,为服务器随机生成,所以不能直接访问,且课程首页提供的链接不包含课程的courseid,classid,cpi,
需要先到课程首页获取考试,作业链接,并添加courseid,classid,cpi,访问获得考试,课程信息
得到信息后解析,输出

登录

登录没什么说的,主要看地址,参数
地址抓包来的
参数 分析
分析出那些为通用参数(人人都一样)
那些为个性化参数(都有,但没有不一样)
在分析下加密
完成

	@Override
	public boolean login() {
		boolean result = false;
		CloseableHttpClient httpclient = HttpClients.createDefault();
		HttpClientContext httpClientContext = HttpClientContext.create();
		HttpPost post = new HttpPost("http://passport2.chaoxing.com/fanyalogin");
		//将密码用base64方式
		String upwbase64password = base64(password);
		List<NameValuePair> paramslist = new ArrayList<NameValuePair>();
		paramslist.add(new BasicNameValuePair("fid", "1971"));//常量
		paramslist.add(new BasicNameValuePair("uname", uname));
		paramslist.add(new BasicNameValuePair("password", upwbase64password));
		paramslist.add(new BasicNameValuePair("refer", "http://i.mooc.chaoxing.com"));//常量
		paramslist.add(new BasicNameValuePair("t", "true"));//常量
		try {
			UrlEncodedFormEntity urlEncodedFormEntity = new UrlEncodedFormEntity(paramslist, "UTF-8");
			post.setEntity(urlEncodedFormEntity);
		} catch (UnsupportedEncodingException e1) {
			e1.printStackTrace();
		}
		CloseableHttpResponse response;
		try {
			response = httpclient.execute(post, httpClientContext);
			if (response.getStatusLine().getStatusCode() == 200) {
			//将服务器返回的cookie放在cookieStore中,以便下次使用
				cookieStore = httpClientContext.getCookieStore();
				result = true;
			}
		} catch (ClientProtocolException e) {
			e.printStackTrace();
		} catch (IOException e) {
			e.printStackTrace();
		}
		return result;
	}

爬取课程信息

courseid,classid,cpi等参数为 id 类,描述课程id,学生id,是不变的,且后续网站提供的链接并无此类参数(js动态链接),可以储存起来,
这个方法爬取用户首页并获取课程信息,并储存至全局变量courselist中

public void getcourse() {
		courselist = new ArrayList<schoolclass>();
		HashMap<String, String> params = new HashMap<String, String>();
		params.put("courseType", "1");
		params.put("courseFolderId", "0");
		params.put("courseFolderSize", "0");
		HttpResponse response = post("http://mooc1-1.chaoxing.com/visit/courselistdata", params);
		Document document = null;
		try {
			document = Jsoup.parse(EntityUtils.toString(response.getEntity()));
		} catch (ParseException e) {
			e.printStackTrace();
		} catch (IOException e) {
			e.printStackTrace();
		}
		Elements elements = document.getElementsByAttributeValue("class", "course clearfix");
		elements.forEach(element -> {
			String courseid = element.attr("courseId");
			String clazzId = element.attr("clazzId");
			String cpi = element.attr("personId");
			String name = element.child(1).child(0).child(0).child(0).text();
			courselist.add(new schoolclass(name, courseid, clazzId, cpi));
		});
	}

根据课程信息构造链接爬取作业和考试信息

此方法为获取单门课程的信息,还封装了一个遍历所有课程的方法,见全代码

public JSONObject getUncompleteHomeworkAndexame(schoolclass sc) throws ParseException, IOException {
		JSONObject jclass = new JSONObject();
		JSONArray ja = new JSONArray();
		String url = "https://mooc2-ans.chaoxing.com/mycourse/stu?courseid=" + sc.getCourseid() + "&cpi=" + sc.getCpi()
				+ "&clazzid=" + sc.getClassid() + "&pageHeader=8";
		HttpResponse httpResponse = get(url, null);
		Document document = null;
		document = Jsoup.parse(EntityUtils.toString(httpResponse.getEntity()));
		Elements homework = document.getElementsByAttributeValue("title", "作业");
		Elements exame = document.getElementsByAttributeValue("title", "考试");
		String homeworkurl = homework.attr("data-url");
		String exameurl = exame.attr("data-url") + "&courseid=" + sc.getCourseid() + "&cpi=" + sc.getCpi() + "&clazzid="
				+ sc.getClassid();
		HttpResponse homeworkresponse = get(homeworkurl, null);
		Document homeworkdocument = Jsoup.parse(EntityUtils.toString(homeworkresponse.getEntity()));
		Elements homeworks = homeworkdocument.getElementsByTag("li");
		homeworks.forEach(li -> {
			if (li.getElementsByClass("status").text().equals("未交")) {
				String hwname = li.getElementsByClass("overHidden2 fl").text();
				Elements time = li.getElementsByClass("time notOver");
				if(!time.isEmpty()) {
					String timestr=time.text();
					JSONObject jo = new JSONObject();
			        jo.put("名称", hwname);
			        jo.put("类型","作业");
			        jo.put("时间",timestr);
			        ja.add(jo);
				}
			}
		});
		HttpResponse exameresponse = get(exameurl, null);
		Document examedocument = Jsoup.parse(EntityUtils.toString(exameresponse.getEntity()));
		Elements exames = examedocument.getElementsByTag("li");
		exames.forEach(li -> {
			if (li.getElementsByClass("status").text().equals("未完成")) {
				String hwname = li.getElementsByClass("overHidden2 fl").text();
				Elements time = li.getElementsByClass("time notOver");
				if(!time.isEmpty()) {
					String timestr=time.text();
					JSONObject jo = new JSONObject();
			        jo.put("名称", hwname);
			        jo.put("类型","考试");
			        jo.put("时间",timestr);
			        ja.add(jo);
				}
			}
		});
		if(!ja.isEmpty()) {
			jclass.put("name",sc.getName());
			jclass.put("uncompleted", ja);
		}
		return jclass;
	}

全代码

public class caoxing extends mypachongimpl {
	String password;//密码 ,且密码采用base64加密
	String uname;//账号
	String email;//要接受的邮箱
	//shcoolclass封装了courseid,classid,cpi等参数,至于为啥有俩list,我也忘了
	List<schoolclass> classlist = null; 
	List<schoolclass> courselist = null;
	//构造器
	public caoxing(String uname, String password,String email) {
		this.password = password;
		this.uname = uname;
		this.email = email;
	}
	public caoxing() {
	}
	//相当于主函数 ,解析其他方法构造的json信息并发送.在使用时,直接调用这个方法
	public void domain() {
			JSONArray json=null;
			try {
				json = getUncomplete();//这个方法返回所有未完成项目的json,主要的爬虫代码就在这个方法中
			} catch (ParseException e1) {
				e1.printStackTrace();
			} catch (IOException e1) {
				e1.printStackTrace();
			}
			if(!json.isEmpty()) {
				Iterator<JSONObject> iter = json.iterator();
				String str="";
				while(iter.hasNext()) {
					JSONObject next = iter.next();
					String classname = (String) next.get("name");
					JSONArray uncompletedlist = (JSONArray) next.get("uncompleted");
					Iterator<JSONObject> listiter = uncompletedlist.iterator();
					String strlist="";
					while(listiter.hasNext()) {
						JSONObject next2 = listiter.next();
						String taskname = (String) next2.get("名称");
						String type = (String) next2.get("类型");
						String time = (String) next2.get("时间");
						strlist="<br>您的: "+taskname+"存在未完成:"+type+" "+time;
					}
					str+="您的 "+classname+" "+"存在未完成作业或考试,名单如下:"+strlist+"<br>";
				}
				mail.sendmail(email,str);//发送邮件,我直接封装的mail模块,csdn上一代堆,拿过来封装成一个类,哪里需要cv哪里
			}
	}
	/**
	 * ��ȡ����δ��ɵ���ҵ�Ϳ���(����ʱ��)
	 * @return 
	 * @throws ParseException
	 * @throws IOException
	 */
	public JSONArray getUncomplete() throws ParseException, IOException {
		if(courselist==null) getcourse();
		Iterator<schoolclass> iter =courselist.iterator();
		JSONArray ja = new JSONArray();
		while (iter.hasNext()) {
			schoolclass next = iter.next();
			JSONObject jo = getUncompleteHomeworkAndexame(next);
			if(!jo.isEmpty()) {
				ja.add(jo);
			}
		}
		return ja;
	}
	/**
	 * ��ȡ���ſγ�δ��ɵ���ҵ�Ϳ���(����ʱ��)
	 * @param sc ��Ҫ��ѯ��school����
	 * @return ����JSONObject
	 * @throws ParseException
	 * @throws IOException
	 */
	public JSONObject getUncompleteHomeworkAndexame(schoolclass sc) throws ParseException, IOException {
		JSONObject jclass = new JSONObject();
		JSONArray ja = new JSONArray();
		String url = "https://mooc2-ans.chaoxing.com/mycourse/stu?courseid=" + sc.getCourseid() + "&cpi=" + sc.getCpi()
				+ "&clazzid=" + sc.getClassid() + "&pageHeader=8";
		HttpResponse httpResponse = get(url, null);
		Document document = null;
		document = Jsoup.parse(EntityUtils.toString(httpResponse.getEntity()));
		Elements homework = document.getElementsByAttributeValue("title", "作业");
		Elements exame = document.getElementsByAttributeValue("title", "考试");
		String homeworkurl = homework.attr("data-url");
		String exameurl = exame.attr("data-url") + "&courseid=" + sc.getCourseid() + "&cpi=" + sc.getCpi() + "&clazzid="
				+ sc.getClassid();
		HttpResponse homeworkresponse = get(homeworkurl, null);
		Document homeworkdocument = Jsoup.parse(EntityUtils.toString(homeworkresponse.getEntity()));
		Elements homeworks = homeworkdocument.getElementsByTag("li");
		homeworks.forEach(li -> {
			if (li.getElementsByClass("status").text().equals("未交")) {
				String hwname = li.getElementsByClass("overHidden2 fl").text();
				Elements time = li.getElementsByClass("time notOver");
				if(!time.isEmpty()) {
					String timestr=time.text();
					JSONObject jo = new JSONObject();
			        jo.put("名称", hwname);
			        jo.put("类型","作业");
			        jo.put("时间",timestr);
			        ja.add(jo);
				}
			}
		});
		HttpResponse exameresponse = get(exameurl, null);
		Document examedocument = Jsoup.parse(EntityUtils.toString(exameresponse.getEntity()));
		Elements exames = examedocument.getElementsByTag("li");
		exames.forEach(li -> {
			if (li.getElementsByClass("status").text().equals("未完成")) {
				String hwname = li.getElementsByClass("overHidden2 fl").text();
				Elements time = li.getElementsByClass("time notOver");
				if(!time.isEmpty()) {
					String timestr=time.text();
					JSONObject jo = new JSONObject();
			        jo.put("名称", hwname);
			        jo.put("类型","考试");
			        jo.put("时间",timestr);
			        ja.add(jo);
				}
			}
		});
		if(!ja.isEmpty()) {
			jclass.put("name",sc.getName());
			jclass.put("uncompleted", ja);
		}
		return jclass;
	}

	/**
	 * ��¼֮���ȡ�γ���Ϣ,����ֵ������ij�Ա����
	 */
	public void getcourse() {
		courselist = new ArrayList<schoolclass>();
		HashMap<String, String> params = new HashMap<String, String>();
		params.put("courseType", "1");
		params.put("courseFolderId", "0");
		params.put("courseFolderSize", "0");
		HttpResponse response = post("http://mooc1-1.chaoxing.com/visit/courselistdata", params);
		Document document = null;
		try {
			document = Jsoup.parse(EntityUtils.toString(response.getEntity()));
		} catch (ParseException e) {
			e.printStackTrace();
		} catch (IOException e) {
			e.printStackTrace();
		}
		Elements elements = document.getElementsByAttributeValue("class", "course clearfix");
		elements.forEach(element -> {
			String courseid = element.attr("courseId");
			String clazzId = element.attr("clazzId");
			String cpi = element.attr("personId");
			String name = element.child(1).child(0).child(0).child(0).text();
			courselist.add(new schoolclass(name, courseid, clazzId, cpi));
		});
	}

	/**
	 * ����������get,postʵ��,��Ϊ,get,post����ô˷�����ʼ��cookieStore
	 */
	@Override
	public boolean login() {
		boolean result = false;
		CloseableHttpClient httpclient = HttpClients.createDefault();
		HttpClientContext httpClientContext = HttpClientContext.create();
		HttpPost post = new HttpPost("http://passport2.chaoxing.com/fanyalogin");
		String upwbase64password = base64(password);
		List<NameValuePair> paramslist = new ArrayList<NameValuePair>();
		paramslist.add(new BasicNameValuePair("fid", "1971"));
		paramslist.add(new BasicNameValuePair("uname", uname));
		paramslist.add(new BasicNameValuePair("password", upwbase64password));
		paramslist.add(new BasicNameValuePair("refer", "http://i.mooc.chaoxing.com"));
		paramslist.add(new BasicNameValuePair("t", "true"));
		try {
			UrlEncodedFormEntity urlEncodedFormEntity = new UrlEncodedFormEntity(paramslist, "UTF-8");
			post.setEntity(urlEncodedFormEntity);
		} catch (UnsupportedEncodingException e1) {
			e1.printStackTrace();
		}
		CloseableHttpResponse response;
		try {
			response = httpclient.execute(post, httpClientContext);
			if (response.getStatusLine().getStatusCode() == 200) {
				cookieStore = httpClientContext.getCookieStore();
				result = true;
			}

		} catch (ClientProtocolException e) {
			e.printStackTrace();
		} catch (IOException e) {
			e.printStackTrace();
		}
		return result;
	}

	/**
	 * 
	 * @param str Ҫ���ܵ�str
	 * @return ���ܺ��str
	 */
	public static String base64(String str) {
		String result = null;
		// ��Ϊ�ջ�null��ֱ�ӷ���null
		if (str.equals("") || str == null) {
			return null;
		}
		byte[] bytes = str.getBytes();
		result = Base64.getEncoder().encodeToString(bytes);
		return result;
	}
}
AT～
关注
  • 6
    点赞
  • 踩
  • 23
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
专栏目录
爬取超星考试题目_如何使用网页的源代码分析找到超星线上考试的答案
weixin_39603622的博客
12-21 1万+
[HTML] 纯文本查看 复制代码.Cy_TItle p {display: block;}img {max-width: 100%;}try{$(function(){var imgList = $(".TiMu").find("div img:not(.workAttach img, .attach img, .attachNew img)");for (var i = 0, len = im...
爬取超星考试题目_2020超星测试题库导入网课答案
weixin_42166623的博客
01-12 3333
关注公众号【帅搜】即可免费查询答案支持:大学网课，智慧树，知到，超星，尔雅，学通，选修课，，外语类，财会类，建筑类，职业资格，，类，外贸类，计算机类等；是一个料下载与在线系统、,是各类考生顺利通过的!【单选题】(2分)很长时间里《红楼梦》后四十回的作者被认为是()。A.戚蓼生B.程伟元C.高鹗D.脂砚斋第四章单元测试1【单选题】(2分)《红楼梦》中写到的贾家现任族长是()。A.贾赦B...
超星登录加密
gap12521的专栏
05-19 911
它提供了三种不同的密钥长度：128位、192位和256位，其中AES-256提供了最高的安全性。我们重新点击登录，发现并没有被断住，这个时候我们看上面的图，发现uname都是这个页面的，所以这个时候我们可以继续搜索uname字段，也可以搜索接口尝试下。这里有个小技巧，加密方式在网站中是js生成的，在运行的时候也使用js代码生成的，python生成的和js的生成的可能存在差异。：首先，AES将输入的密钥（无论是128位、192位还是256位）通过密钥扩展算法扩展成一个更大的轮密钥序列。
python抓包超星网课试卷_2020网络数据采集与Python爬虫【带实验】高校邦网课答案...
weixin_39662228的博客
12-07 705
2020网络数据采集与Python爬虫【带实验】高校邦网课答案答案：更多相关问题室外高压设备的围栏上应悬挂止步、高压危险的提示类标示牌。()电灼伤一般发生在高压设备或雷电放电时。()湿式氧化法与焚烧法的最主要区别在于其氧化条件为()。A.高温自燃B.高温助燃C.高温高压D.低温可用于高沮高压场合的是()。A.非金属垫片B.金属复合型垫片C.金属垫片D.石棉浸渍垫片在一根2m长的硅油柱上，分析一个混...
爬取超星考试题目_如何利用搜题软件查找《超星慕课》考试题目答案？
weixin_33966205的博客
01-12 999
A．The woman is a kind－hearted boss.B．The woman is strict with her employees.C．The man【C6】A．illegalB．harmfulC．poisonousD．mild【C18】A．locallyB．scarcelyC．nationallyD．fullySection ADirections: In this sect...
超星搭建本地题库(Java版)源码
04-24
超星搭建本地题库(Java版)源码 所有自动答题，都分为前端答题的脚本 和 后端提高答案的数据库 脚本已经由前人栽树发芽，如今枝繁叶茂，我们只推荐测试可行的脚本，其余脚本自行摸索 数据库我们采用爬取接口的方式获得
超星多线程某习通小助手－最新修改版 分析第一期
2301_77423777的博客
10-10 1961
有关交流问题可以联系我，已经测试多次了，可以正常运行，在这里我只解释原代码中的代码含义，QQ1219235650（小号）
超星智慧考试系统使用手册-大学教师使用手册（针对考试）
12-22
超星智慧考试系统使用手册-大学教师使用手册（针对考试） 超星智慧考试系统使用手册是一份详细的使用指南，旨在指导大学教师使用超星智慧考试系统进行教学、考试和监考。该手册涵盖了系统的基本操作、题库建设、...
学生网上考试系统的设计与实现
10-17
《学生网上考试系统的设计与实现》 随着信息技术的飞速发展，传统的纸笔考试模式已经逐渐无法满足现代教育的需求。网上考试系统作为一种重要的创新，它利用计算机网络技术和数据库技术，实现了教考分离和考务工作的...
2021超星云计算作业.zip
05-11
在“2021超星云计算作业.zip”这个压缩包中，我们可以推断出它包含的是2021年度关于超星云计算课程的作业内容。虽然没有具体的标签提供额外信息，但我们可以根据“云计算”这一主题展开讨论，涵盖云计算的基础概念、...
py代码-超星云盘（未完全实现）
07-14
【标题】"py代码-超星云盘（未完全实现）"所指的是一段用Python编程语言编写的，旨在实现对超星云盘进行操作的代码，但可能并未涵盖所有功能。Python因其简洁易读的语法和丰富的库支持，常被用于开发各种Web应用，...
【爬虫】安全测试题库（Python）
07-08
简单Python爬虫：获取URL链接；正则处理；保存TXT
中间人攻击劫持cookie
ChenD的学习笔记
10-26 980
中间人攻击劫持cookie
python 模拟登录超星强智系统
weixin_54352784的博客
01-22 1080
老师教我们写的 import io import os import sys import time from selenium import webdriver from selenium.webdriver import ChromeOptions, ActionChains from selenium.webdriver.common.by import By from selenium.webdriver.common.keys import Keys # 键盘按键操作 delay=3 #
网课查题接口API调用文档
weixin_46569090的博客
04-26 9543
网课查题接口API调用文档 接口地址：http://120.26.88.13/new/api.php 适用场景 超星网课题库查询 请求方式 查询API服务地址： URL http://120.26.86.13/new/api.php 请求方式 GET 请求参数 参数名 类型 是否必须 使用说明 t String 是 网课的问题 返回结果参数...
学习通视频enc生成方法
xinwr
09-26 5570
enc大概是对参数进行md5加密后的值 看一下发送时的参数 //格式 str="[clazzId][userid][jobid][objectId][playingTime*1000][d_yHJ!$pdA~5][duration*1000][clipTime]"; enc=md5(str); //d_yHJ!$pdA~5是固定的字符串 //php示例 $str='[44342488][105285226][1403146602832][5239663ca310f8934087b08f][52000][
登录学习通报错：浏览器没有开启cookie功能
wukeyan的博客
10-11 3113
由于疫情，我们学校开启了线上授课，使用的教学APP就是学习通，我将我的学习通登录网址收藏起来，以便我下次直接找到登录界面，前面几次一直都是好好的，但是最近几次我点击登录时它报错说：我的浏览器是否已经禁用cookie功能，请开启后重新访问。 收藏的登录网址打开的界面： 密码账号都是正确的，但是点击登录后的界面： 但是我查看浏览器设置，发现我已经打开了cookie： 当时很着急，因为学习通上我着急交一门作业（作业有提交截止时间），我上网去各种查资料都没有找到解决办法，我又重新百度学习通的登录入口，再重新输
超星学习通刷网课插件
最新发布
06-13
这类插件的存在可能会违反超星学习通的服务条款，它们可能被设计用于自动完成作业、查看答案或逃避系统检测，这不利于培养学生的自主学习能力和对知识的深入理解。如果发现有此类插件，学校可能会对其进行封禁，并对...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值