java实现网页爬虫的一个小例子

网络爬虫，从网上爬取信息，保存在本地。

通过自身的实践，觉得重点就这几个方面

一、java文件读写

二、利用jsoup解析html代码信息

三、新文件覆盖旧文件

首先从最简单的抓取百度首页www.baidu.com入手吧

package crawler;

import java.io.BufferedReader;
import java.io.BufferedWriter;
import java.io.File;
import java.io.FileWriter;
import java.io.IOException;
import java.io.InputStream;
import java.io.InputStreamReader;
import java.net.MalformedURLException;
import java.net.URL;
import java.net.URLConnection;

public class maincrawler {

	private static final String PATH = "/data";
	private static final String WEBNAME = "baidu.html";

	public static void main(String[] args) {
		URL url = null;
		URLConnection conn = null;
		InputStream is = null;

		// 创建url连接并建立输入字节流
		try {
			url = new URL("http://www.baidu.com");
			conn = url.openConnection();
			is = conn.getInputStream();
		} catch (MalformedURLException e) {
			// TODO Auto-generated catch block
			e.printStackTrace();
		} catch (IOException e) {
			// TODO Auto-generated catch block
			e.printStackTrace();
		}

		// 保存文件的到本地文件夹（/data/）
		try {
			saveFile(PATH, WEBNAME, is);
		} catch (Exception e) {
			// TODO Auto-generated catch block
			e.printStackTrace();
		}

	}

	private static int saveFile(String path, String webName, InputStream is) throws Exception{
		BufferedWriter writer = null;
		BufferedReader reader = null;

		try {
			File f = new File(path);
			if (!f.exists()) {
				f.mkdirs();
			}

			File file = new File(path + File.separator + webName);
			if (!file.exists()) {
				file.createNewFile();
			} else {
				return 0;
			}
			FileWriter fw=new FileWriter(file);
			writer=new BufferedWriter(fw);
			reader=new BufferedReader(new InputStreamReader(is,"UTF-8"));
			String inputLine=null;
			while((inputLine=reader.readLine())!=null){
				writer.write(inputLine);
				writer.flush();
			}
		} catch (Exception e) {
			e.printStackTrace();
		} finally{
			if(is!=null){
				is.close();
			}
			if(writer!=null){
				writer.close();
			}
			if(reader!=null){
				reader.close();
			}
		}
		return 1;

	}
}

这段代码简单的运行就会抓取出百度的首页面,查看文件在你坐在目录盘的“/data/baidu.html”.例如如果你的java文件在D盘，那么文件应该在"D:/data/baidu.html"

可能会因为编码问题出现错误，这个我正在解决中，明天接着聊稍微复杂些的内容。