【Java爬虫】爬取南通大学教务系统成绩计算绩点

最新推荐文章于 2021-03-16 09:16:04 发布
最新推荐文章于 2021-03-16 09:16:04 发布
阅读量4.5k 收藏 4
点赞数 3
分类专栏： 爬虫 Little_things 文章标签： 编程 爬虫 java 代码 网络
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/A__yes/article/details/49702573
版权

  以前写过一个python版的，但是想做一个jsp网页版的，就又用Java有写了一下。

  具体地址的分析过程在这里，这里简单说一下HttpCliet的Get，Post方法的使用

           1.Get请求方法

//创建一个浏览器客户端
CloseableHttpClient httpClient = HttpClients.createDefault();
//要Get的地址
String url1="http://www.baidu.com";				
//创建一个Get请求
HttpGet baidu=new HttpGet(url1);
//用上面创建的浏览器客户端执行该请求
CloseableHttpResponse res=httpClient.execute(baidu）;
//用响应创建一个http实体并获得输入流
HttpEntity he=res.getEntity();
InputStream in=he.getContent();
//将获得的流写到本地磁盘
FileOutputStream out=new FileOutputStream("baidu.html'");
byte[] buffer=new byte[1024];
int count=-1;
while((count=in.read(buffer))!=-1)
{
	out.write(buffer, 0, count);
}
in.close();
out.close();

   2.Post请求方法 

CloseableHttpClient httpClient = HttpClients.createDefault();
String url="http://××××.××××.com?#";	
//要提交的参数username，password				
List<NameValuePair> list = new ArrayList<NameValuePair>();
list.add(new BasicNameValuePair("Username","Name"));
list.add(new BasicNameValuePair("Password","××××××"));
//转换编码
UrlEncodedFormEntity entity = new UrlEncodedFormEntity(list,"utf-8"); 
//创建Post请求
HttpPost httpPost=new HttpPost(url);
//为请求设置参数
httpPost.setEntity(entity);
//获得响应，输入流并写入本地磁盘
CloseableHttpResponse res=httpClient.execute(httpPost);
HttpEntity he=res.getEntity();
InputStream in=he.getContent();
FileOutputStream out=new FileOutputStream("××××.×××");
byte[] buffer=new byte[1024];
int count=-1;
while((count=in.read(buffer))!=-1)
{
	out.write(buffer, 0, count);
}
in.close();
out.close();

爬虫的完整代码： 

import org.apache.http.impl.client.CloseableHttpClient;
import org.apache.http.impl.client.HttpClients;
import org.apache.http.message.BasicNameValuePair;

import java.io.FileOutputStream;
import java.io.IOException;
import java.io.InputStream;
import java.io.UnsupportedEncodingException;
import java.util.ArrayList;
import java.util.List;
import java.util.Scanner;
import java.util.regex.Pattern;
import java.util.regex.Matcher;

import org.apache.http.HttpEntity;
import org.apache.http.NameValuePair;
import org.apache.http.client.ClientProtocolException;
import org.apache.http.client.entity.UrlEncodedFormEntity;
import org.apache.http.client.methods.*;


public class spider02 {
	public static void main(String[] args) throws ClientProtocolException, IOException
	{
		@SuppressWarnings("resource")
		
		Scanner cin=new Scanner(System.in);							
		doon asd=new doon();
		asd.getyzm();
		String yzm=cin.nextLine();						//测试
		String stop="1";
		while(!stop.equals("#"))
		{
			stop=cin.nextLine();
			System.out.println(stop);
			if(stop.equals("n"))
			{
				Matcher name=asd.patternname(asd.getname());
				while(name.find())
					System.out.println(name.group(1));
			}
			if(stop.equals("s"))
			{
					Matcher score=asd.patternscore(asd.getscore());
					List<lession>	les=	asd.workjidian(score);
					double jdsum=0,xfsum=0;
					for(int i=0;i<les.size();i++)
					{
						jdsum+=les.get(i).getKcxfjd();
						xfsum+=Double.valueOf(les.get(i).getXf()).doubleValue();
						System.out.println(les.get(i).getKcmc()+"\t"+les.get(i).getZpcj()+"\t"+les.get(i).getXf()+"\t"+les.get(i).getKcxfjd());
					}
					System.out.println("所修课程学分："+xfsum);
					System.out.println("所修课程学分绩点："+jdsum);
					System.out.println("平均学分绩点："+jdsum/xfsum);
			}
		}
	}
}
class doon{
	private CloseableHttpClient httpClient = HttpClients.createDefault();
	public  void done(String xh,String sfzh,String kl,String yzm) 
	{
		try {
			login(xh, sfzh, kl, yzm);	//尝试登陆
			getscore();											//获取分数
		} catch (ClientProtocolException e) {
			e.printStackTrace();
		} catch (IOException e) {
			e.printStackTrace();
		}
	}
	public String getname()
	{
		String url="http://jwgl.ntu.edu.cn/cjcx/QueryAll.aspx";			//获取个人信息位置
		String information="";
		//Post请求
		List<NameValuePair> list=new ArrayList<NameValuePair>();
		list.add(new BasicNameValuePair("xq","2013-2014-1"));
		try {
			UrlEncodedFormEntity entity = new UrlEncodedFormEntity(list,"utf-8");
			HttpPost post=new HttpPost(url);
			post.setEntity(entity);
			CloseableHttpResponse res= httpClient.execute(post);
			HttpEntity he=res.getEntity();
			InputStream in=he.getContent();
			//FileOutputStream out=new FileOutputStream("");
			byte[] buffer=new byte[1024];
			int count=-1;
			while((count=in.read(buffer))!=-1)
			{
				String inf=new String(buffer,0,count);
				information+=inf;
			}
			in.close();
		} catch (IOException e) {
			// TODO Auto-generated catch block
			e.printStackTrace();
		}
		return information;
	}
	public  void getyzm() throws IOException
	{
		//获得验证码并写到本地，Get请求
		String url1="http://jwgl.ntu.edu.cn/cjcx/checkImage.aspx";					//验证码页面
		HttpGet yzm=new HttpGet(url1);
		CloseableHttpResponse res=httpClient.execute(yzm);
		HttpEntity he=res.getEntity();
		InputStream in=he.getContent();
		FileOutputStream out=new FileOutputStream("yzm.gif");
		byte[] buffer=new byte[1024];
		int count=-1;
		while((count=in.read(buffer))!=-1)
		{
			out.write(buffer, 0, count);
		}
		in.close();
		out.close();
	}
	public  void login(String xh,String sfzh,String kl,String yzm) throws ClientProtocolException, IOException
	{
		//Post请求
		String url="http://jwgl.ntu.edu.cn/cjcx/Default.aspx";								//登录页面
		List<NameValuePair> list = new ArrayList<NameValuePair>();
		list.add(new BasicNameValuePair("__VIEWSTATE","/wEPDwUJODExMDE5NzY5ZGRgtUdRucUbXsT8g55XmVsTwV6PMw=="));
		list.add(new BasicNameValuePair("__VIEWSTATEGENERATOR","6C0FF253"));
		list.add(new BasicNameValuePair("xh",xh));
		list.add(new BasicNameValuePair("sfzh",sfzh));
		list.add(new BasicNameValuePair("kl",kl));
		list.add(new BasicNameValuePair("yzm",yzm));
		UrlEncodedFormEntity entity = new UrlEncodedFormEntity(list,"utf-8"); 
		HttpPost httpPost=new HttpPost(url);
		httpPost.setEntity(entity);
		CloseableHttpResponse res=httpClient.execute(httpPost);
		HttpEntity he=res.getEntity();
		InputStream in=he.getContent();
		FileOutputStream out=new FileOutputStream("ans.html");
		byte[] buffer=new byte[1024];
		int count=-1;
		while((count=in.read(buffer))!=-1)
		{
			out.write(buffer, 0, count);
		}
		in.close();
		out.close();
	}
	public  String getscore() throws ClientProtocolException, IOException
	{
		//Post请求
		String url="http://jwgl.ntu.edu.cn/cjcx/Data/ScoreAllData.aspx";  //获取分数
		List<NameValuePair> list = new ArrayList<NameValuePair>();
		list.add(new BasicNameValuePair("start","0"));
		list.add(new BasicNameValuePair("pageSize","80"));
		UrlEncodedFormEntity entity = new UrlEncodedFormEntity(list,"utf-8"); 
		HttpPost httpPost=new HttpPost(url);
		httpPost.setEntity(entity);
		CloseableHttpResponse res=httpClient.execute(httpPost);
		HttpEntity he=res.getEntity();
		InputStream in=he.getContent();
		FileOutputStream out=new FileOutputStream("score.html");
		byte[] buffer=new byte[1024];
		int count=-1;
		String save="";
		while((count=in.read(buffer))!=-1)
		{
			out.write(buffer, 0, count);
			String sav=new String(buffer,0,count);
			save+=sav;
		}
		in.close();
		out.close();
		return save;
	}
	public Matcher patternscore(String score)
	{
		//用正则表达式匹配成绩
		String reg="\"kcmc\":\"(.*?)\",\"jsxm\":\"(.*?)\",\"xq\":\"(.*?)\",\"xs\":\"(.*?)\",\"xf\":\"(.*?)\",\"zpcj\":\"(.*?)\",\"pscj\":\"(.*?)\",\"qmcj\":\"(.*?)\",\"kcsx\":\"(.*?)\",\"cjid\":\"(.*?)\",\"ksfsm\":\"(.*?)\",\"pxcj\":\"(.*?)\"}";
		Pattern p=Pattern.compile(reg);
		Matcher m=p.matcher(score);
		return m;
	}
	public Matcher patternname(String name)
	{
		//匹配个人信息
		String reg="<b>(.*?)</b>";
		Pattern p=Pattern.compile(reg);
		Matcher  m=p.matcher(name);
		return m;
	}
	public List<lession> workjidian(Matcher score)
	{
		//计算绩点
		List<lession> les=new ArrayList<lession>();
		while(score.find())
		{
			double	xf=0.0;
			if(score.group(6).equals("优"))				//五级计分
				xf=Double.valueOf(score.group(5)).doubleValue()*4.5; 				
			else if(score.group(6).equals("良"))
				xf=Double.valueOf(score.group(5)).doubleValue()*3.5; 	
			else if(score.group(6).equals("中"))
				xf=Double.valueOf(score.group(5)).doubleValue()*2.5; 	
			else if(score.group(6).equals("及格"))
				xf=Double.valueOf(score.group(5)).doubleValue()*1.5; 	
			else if(score.group(6).equals("缓考")||score.group(6).equals("不及格"))
				continue;
			else if(Double.valueOf(score.group(6)).doubleValue()>=90)					//百分计分
				xf=((Double.valueOf(score.group(6)).doubleValue()-90)/10+4.0)*Double.valueOf(score.group(5)).doubleValue();
			else if(Double.valueOf(score.group(6)).doubleValue()>=80&&Double.valueOf(score.group(6)).doubleValue()<=89)	
				xf=((Double.valueOf(score.group(6)).doubleValue()-80)/10+3.0)*Double.valueOf(score.group(5)).doubleValue();
			else if(Double.valueOf(score.group(6)).doubleValue()>=70&&Double.valueOf(score.group(6)).doubleValue()<=79)	
				xf=((Double.valueOf(score.group(6)).doubleValue()-70)/10+2.0)*Double.valueOf(score.group(5)).doubleValue();
			else if(Double.valueOf(score.group(6)).doubleValue()>=60&&Double.valueOf(score.group(6)).doubleValue()<=69)	
				xf=((Double.valueOf(score.group(6)).doubleValue()-60)/10+1.0)*Double.valueOf(score.group(5)).doubleValue();
			else if(Double.valueOf(score.group(6)).doubleValue()<60)
				continue;
			les.add(new lession(score.group(1),score.group(2),score.group(3),score.group(4),score.group(5),score.group(6),score.group(7),score.group(8),score.group(9),score.group(10),score.group(11),score.group(12),xf));

		//	System.out.println(score.group(1)+"\t\t\t\t\t\t"+score.group(2)+"\t"
		//			+score.group(5)+"\t"+score.group(6)+"学分"+Double.toString(xf));
		}
		return les;
	}
}



A__yes
关注
  • 3
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
正方教务系统数据抓取（含验证码识别）
10-24
正方教务系统数据抓取（含验证码识别），模拟登录，抓取课表，考试成绩，考试安排，个人信息。并且提供了Json Api接口可供客户端调用。
Java实现绩点计算
雩停
08-27 4843
package gpa; import java.util.Scanner; class Calculator { Scanner in = new Scanner(System.in); private int length; //数组长度 private String[] name = new String[30]; //课程名称 priv...
GPA:Java 中的简单 GPA 计算器
06-30
平均成绩 Java 中的小型 GPA 计算器 GPA是一个简单的 Java GPA （平均成绩）计算器，面向有兴趣在 GPA 正式发布之前计算 GPA 的学生。 要使用 GPA，您必须能够通过命令行访问 Java。 如果您可以运行java和javac ，那就太好了。 只需cd src/ 、 javac *.java和java GPA即可启动并运行GPA 。 如果你想贡献，只需提交拉取请求！ 。 也可以随意提出自己的想法。 执照 GPA在 MIT 许可下获得许可。 这意味着你可以用它做任何你想做的事情，只要你给我 (Nimit Kalra, ) 署名，并且不让我对任何损害承担责任。
历年高考高校录取分数线
DevOpenClub 专栏
09-29 661
历年高考高校录取分数线 高校在各省录取分数线，各省所有数据 / 按省或高校查询。 1. 产品功能 不同高校在各省的录取数据； 百万级历史数据； 多种查询条件便于多维度分析； 数据持续更新与维护； 全接口支持 HTTPS（TLS v1.0 / v1.1 / v1.2 / v1.3）； 全面兼容 Apple ATS； 全国多节点 CDN 部署； 接口极速响应，多台服务器构建 API 接口负载均衡。 2. API 文档 接口地址: https://api.gugudata.com/metadata/ceec
java计算课程学分绩点,一个简单的计算选修课程绩点的程序,欢迎大家指点下.
weixin_34539480的博客
03-16 733
一个简单的计算选修课程绩点的程序,欢迎大家指点下.package 选修课程;/**** @author Administrator*/public class Student { //学生类Course s=new Course();String stuName;double maxGAP,minGAP;static int stuID;static int numberCourse;s...
学分绩点（JAVA）
qq_44929652的博客
07-09 876
题目来源 学分绩点 题目描述 北京大学对本科生的成绩施行平均学分绩点制（GPA）。既将学生的实际考分根据不同的学科的不同学分按一定的公式进行计算。 公式如下： 实际成绩 绩点 90——100 4.0 85——89 3.7 82——84 3.3 78——81 3.0 75——77 2.7 72——74 2.3 68——71 2.0 64——67 1.5 60——63 1.0 60以下 0 1．一门课程的学分绩点=该课绩点*该课学分 2．总评绩点=所有学科绩点之和/所有课程学分之和 现要求你编写程序求出某人A的
java计算课程学分绩点_【Java爬虫】爬取南通大学教务系统成绩计算绩点
weixin_39702799的博客
02-16 187
以前写过一个python版的，但是想做一个jsp网页版的，就又用Java有写了一下。具体地址的分析过程在这里，这里简单说一下HttpCliet的Get，Post方法的使用1.Get请求方法//创建一个浏览器客户端CloseableHttpClient httpClient = HttpClients.createDefault();//要Get的地址String url1="http://www....
python爬虫爬取监控教务系统的思路详解
09-18
主要介绍了python爬虫监控教务系统，主要实现思路是对已有的成绩进行处理，变为list集合，本文通过实例代码给大家介绍的非常详细,需要的朋友可以参考下
Java爬虫爬取某招聘网站招聘信息
12-29
Java爬虫已获导师指导并通过的95分的高分期末大作业项目，可作为课程设计和期末大作业，下载即用无需修改，项目完整确保可以运行。 该系统功能完善、界面美观、操作简单、功能齐全、管理便捷，具有很高的实际应用...
多线程java爬虫爬取小说网站
最新发布
03-22
源码
南通大学UML考试试题总结
06-28
南通大学UML考试知识点以及考试试题总结
java绩点管理程序
12-25
java绩点管理程序，需要的可以下载学习，运行没有问题，仅供参考。
计算学分绩方法1
09-07
java 计算大学所有名单成员的学分绩 运用容器中的map方法 通过计算 打印出所有人的学分绩。学习容器的朋友，可以看一下。java 学分绩 java 学分绩 java 学分绩 java 学分绩 java 学分绩 java 学分绩 java 学分绩java 学分绩 java 学分绩
Python-实现教务系统的成绩查询以及加权平均分和加权绩点计算中国矿业大学
08-10
实现教务系统的成绩查询以及加权平均分和加权绩点计算（中国矿业大学）
【Java小项目】打飞机
A_yes的博客
12-02 7751
主要功能：            1.w,a,s,d八个方向移动，j射击            2.默认会右有5个敌机，敌机会有一个随机方向，并一直按着这个方向移动，碰到边界会发生反弹            3.每个飞机只能发5个子弹，只有玩家的子弹才能对敌机造成伤害。            4.用ArrayList存放子弹，repaint的时候遍历重绘            5.用Co
【Java小项目】图片浏览器
A_yes的博客
11-14 6809
主要功能：          1.打开各个基本格式的图片（有文件过滤）          2.图片的缩放（滚轮滚动）          3.图片相关信息的显示          4.打开目录的图片自动加载，可上一张下一张切换（单击左部上一张，右部下一张）          5.缩放后的图片另存为     遇到的问题： 1.图片另存为的时候 //错误,新建的图片是张黑图 Image i
SSM框架CRUD代码生成器
A_yes的博客
06-27 6226
此工具可根据数据库表生成所有表的 增删改查的直到controller层的代码，代码是以SSM框架代码为模板的，开源代码地址 http://git.oschina.net/A_yes/generatorrestfulapi 此工具下载地址（http://download.csdn.net/detail/a__yes/9875317） 此工具使用1.7.0_79版本的jdk编译打包的请使用此版本及以上
【Java小项目】一个Socket连续传输多个文件
A_yes的博客
11-17 5192
想给前短时间做的那个山寨QQ加一个传输文件的功能，因为那个山寨QQ每个客户端和服务器端就一个Socket连接用ObjectOutputStream进行通信，现在要加一个DataOutputStream来传输文件，所以先了写这个试验下。      思路：              1.在发送DataOutputStream字节流前先发一个Object来通知接受端。           
java爬虫爬取天猫商品信息数据
11-24
java爬虫是一种利用java语言编写的网络爬虫程序，可以自动访问网页并抓取其中的数据。使用java爬虫可以方便地获取天猫商品的信息数据。首先，程序需要模拟浏览器的请求，发送HTTP请求获取天猫商品页面的HTML源代码。接着，可以使用jsoup等工具对HTML源代码进行解析，提取出商品的信息数据，比如商品名称、价格、销量、评价等。同时，也可以从页面中提取出商品的链接，进一步访问商品详情页面，获取更详细的信息。 在实现java爬虫爬取天猫商品信息数据时，需要注意一些问题。首先是反爬虫机制，天猫网站可能会采取一些方式来阻止爬虫程序的访问，比如设置验证码、限制频繁访问等。因此，需要编写程序来处理这些反爬虫措施，可以使用代理、延时访问等方法来规避反爬虫机制。另外，还需要考虑数据的存储和管理，获取的数据可以保存到数据库或者文件中，以便进一步分析和利用。 总的来说，使用java爬虫可以方便快捷地获取天猫商品的信息数据，但是在实际操作中需要充分考虑网站的反爬虫措施，并且遵守网站的规则和法律法规，避免对网站造成不必要的影响。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值