-
本人的毕业设计是制作一个淮河水量水质监测系统,数据从哪来,这是一个需要考虑的问题。起初,我尝试过使用一些网站的api接口,后来因为各种问题(价格十分昂贵、数据没有及时更新)不得不放弃。
-
百度了好久,才发现“中国环境监测总站”上面有实时的水质数据。但问题又来了,查看网页源码时,发现源码上面没有具体的水质数据,也就是这些数据是通过ajax的方式动态加载的,想要利用Jsoup爬取这些动态数据,不太现实。
-
F12打开开发人员工具,发现了一条请求路径和请求的参数。如下图:
直接点击请求路径,奇迹出现了,页面上返回了JSON格式的数据,如下图:
这也就意味着,可以把它当成一个免费的API来使用啦!(某网站的API价格1000起步,数据还贼旧)。 -
话不多述,直接上JAVA代码:
package json;
import com.alibaba.fastjson.JSONArray;
import com.alibaba.fastjson.JSONObject;
import java.io.BufferedReader;
import java.io.InputStream;
import java.io.InputStreamReader;
import java.io.PrintWriter;
import java.net.HttpURLConnection;
import java.net.URL;
/**
* @author laoyingyong
* @date: 2020-01-17 15:06
*/
public class Demo3
{
public static void main(String[] args) throws Exception
{
//参数字符串,如果拼接在请求链接之后,需要对中文进行 URLEncode 字符集 UTF-8
String param = "Method=SelectRealData";
StringBuilder sb = new StringBuilder();
InputStream is = null;
BufferedReader br = null;
PrintWriter out = null;
try {
//接口地址
String url = "http://123.127.175.45:8082/ajax/GwtWaterHandler.ashx";
URL uri = new URL(url);
HttpURLConnection connection = (HttpURLConnection) uri.openConnection();
connection.setRequestMethod("POST");
connection.setReadTimeout(5000);
connection.setConnectTimeout(10000);
connection.setRequestProperty("accept", "*/*");
//发送参数
connection.setDoOutput(true);
out = new PrintWriter(connection.getOutputStream());
out.print(param);
out.flush();
//接收结果
is = connection.getInputStream();
br = new BufferedReader(new InputStreamReader(is, "UTF-8"));
String line;
//缓冲逐行读取
while ( ( line = br.readLine() ) != null )
{
sb.append(line);
}
String backStr=sb.toString();
System.out.println(backStr);
} catch ( Exception e )
{
System.out.println(e);
} finally
{
//关闭流
try
{
if(is!=null)
{
is.close();
}
if(br!=null)
{
br.close();
}
if (out!=null)
{
out.close();
}
} catch ( Exception ignored )
{
System.out.println(ignored);
}
}
}
}
- 运行结果如下:
- 其实,返回的是全国各地监测站的水质数据,但里面已经包含了淮河各个监测站的水质数据。至于淮河到底有哪些监测站,中国环境监测总站上面写有的,可以自己到网站上的相关栏目进行查看。也就是,可以根据测站名称进行筛选。
- 获取到了JSON数据,就可以利用一些JSON解析工具对这些数据进行解析,比如jackson、fastjson、gson等等。