如何抓取一个页面的数据--第一次尝试这方面的的知识

想尝试去写一个程序来实现登录后可以直接查询到我在学校的成绩，但是没做过这方面的东西，而且计算机网络这门课学一年多了，实在记得东西不多，当锻炼了吧。我想我一步知道应该抓取一个页面的数据，然后再通过fiddler抓包，来获取一些需要发送的东西，这里我尝试第一步：如何抓取一个页面的数据.

通过查询网上资料，见很多很多人使用URL抓取网页内容 ，使用正则表达式去除《div》等元素，第一次就先获取页面的全部数据。这里我准备获取w3.school的页面内容

Java代码：

import java.io.BufferedReader;
import java.io.FileOutputStream;
import java.io.IOException;
import java.io.InputStream;
import java.io.InputStreamReader;
import java.io.OutputStream;
import java.net.*;

public class CatchData {
	public static void main(String[] args) {
		try {
			catchDa("http://www.w3school.com.cn/");
		} catch (IOException e) {
			// TODO Auto-generated catch block
			e.printStackTrace();
		}
	}
/*
 * 读取网页的全部内容
 */
	public static void catchDa(String url) throws IOException{
		InputStream in=null;
		OutputStream out=null;
		URL addURL=null;
		try {
			addURL=new URL(url);
			in=addURL.openStream();
			out=new FileOutputStream("a.txt",true);
			byte[]c=new byte[1024];
			int n=-1;
			while((n=in.read(c, 0, 1024))!=-1){
				out.write(c, 0, n);
			}
		} catch (Exception e) {
			// TODO: handle exception
		}finally{
			if(in!=null){
				in.close();
			}
			if(out!=null){
				out.close();
			}
		}
	}
}

执行之后：

这里我们使用正则表达式去掉标签，并且只获取网页的一部分数据：

import java.io.BufferedReader;
import java.io.BufferedWriter;
import java.io.FileInputStream;
import java.io.FileOutputStream;
import java.io.FileWriter;
import java.io.IOException;
import java.io.InputStream;
import java.io.InputStreamReader;
import java.io.OutputStream;
import java.io.Writer;
import java.net.URL;

public class UrlReader {

	public static String read(String url) throws IOException {
		StringBuffer html = new StringBuffer();
		InputStream openStream = null;
		URL addrUrl = null;
		//URLConnection urlConn = null;
		BufferedReader br = null;
		
		try {
			addrUrl = new URL(url);
			openStream = addrUrl.openStream();
			br = new BufferedReader(
					new InputStreamReader(openStream,"gbk"));

			String buf = null;
			while ((buf = br.readLine()) != null) {
				html.append(buf + "\r\n");
			}
		} finally {
			if (br != null) {
				br.close();
			}
		}
		return html.toString();
	}
	
	public static void main(String[] args) {
		try {
		String html=read("http://www.w3school.com.cn/");
		int beginindex=html.indexOf("<div id=\"w3\">");
		int endindex=html.indexOf("<p>");
		String text=html.substring(beginindex, endindex);
		text=text.replaceAll("<div id=\"w3\">", "");
		text=text.replaceAll("<h2>", "");
		text=text.replaceAll("</h2>", "");
             OutputStream out=new FileOutputStream("a.txt",true);
             out.write(text.getBytes());
		} catch (IOException e) {
			// TODO Auto-generated catch block
			e.printStackTrace();
		}
	}
}

到此我们就实现了如何将网页的内容和需要的数据截取下来，初次尝试，有很多借鉴，希望以后能更熟悉。