java爬虫糗百

继上次用java把糗百的源码下下来后，决定开始进行剥离想要的字段，不要求别的，只要能与之前用python写的程序实现相同的功能即可，糗百嘛，当然最重要的是段子，所以我只剥夺段子出来，不会乱杀无辜。这里也不用什么线程了，感觉代码给别人看最重要的就是看核心，多了让人烦，就一个类，三个私有方法，一个main方法。这里scanner.nextLine()最好不要用scanner.next（）,因为会不识别回车。

package spider;

import java.io.BufferedReader;
import java.io.FileOutputStream;
import java.io.IOException;
import java.io.InputStream;
import java.io.InputStreamReader;
import java.io.OutputStreamWriter;
import java.net.MalformedURLException;
import java.net.URL;
import java.net.URLConnection;
import java.util.ArrayList;
import java.util.List;
import java.util.Scanner;
import java.util.regex.Matcher;
import java.util.regex.Pattern;

public class MyCreate {
	private static List<String> results = new ArrayList<String>();
	private static int page=1; // 表明目前是第几页
	private static String url="http://www.qiushibaike.com/8hr/page/";
	/**
	 * 爬取数据
	 * @param url
	 * @param pages
	 * @return
	 */
	private static String spider(String url,int pages) { 
		StringBuffer sb = null;
		try {
			URL urls = new URL(url+pages); // 指定要爬取得网站
			URLConnection urlconnection = urls.openConnection(); // 类似于python	 中的urlopen	个人理解为发送请求并用一个对象去接
			urlconnection.setRequestProperty("User-Agent", "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1)"); // 有些浏览器会查看浏览器信息，防止爬取。
			InputStream ins = urlconnection.getInputStream(); // 以流的方式读出内容
			BufferedReader buff = new BufferedReader(new InputStreamReader(ins, "utf-8")); // 以字符流读入
			sb = new StringBuffer(); // 把内容提取出来
			String lines = "";
			while ((lines = buff.readLine()) != null) {
				sb.append(lines + "\n");
			}
			OutputStreamWriter ops = new OutputStreamWriter(new FileOutputStream("W:/qiubai"+pages+".html", true), "utf-8");
			// 写入到本地的W盘中，命名为qiubai.html
			ops.write(sb.toString());
		} catch (MalformedURLException e) {
			e.printStackTrace();
			// TODO Auto-generated catch block
		} catch (IOException e) {
			// TODO Auto-generated catch block
			e.printStackTrace();
		}

		return sb.toString();
	}

	/**
	 * 通过正则表达式获取想要的数据
	 * @param sb
	 */
	private static void filterData(String sb) {
		results.clear();
		Pattern pattern = Pattern.compile("<div.*?class=\"content\">(.*?)</div>", Pattern.MULTILINE | Pattern.DOTALL); // 正则表达式
		Matcher matcher = pattern.matcher(sb);
		while (matcher.find()) { // 会把所有查到的放入results中
			results.add(matcher.group(1));
		}
	}

	/**
	 * 用来在控制台展示数据
	 * @param index
	 */
	private static void showMsg(int index) {
		Scanner scanner = new Scanner(System.in);
		System.out.println("---------------------------------------\n  "
				+ "程序：糗百爬虫  \n"
				+ "版本：0.1\n  "
				+ "作者：马慧超 \n "
				+ "日期：2014-06-03\n  "
				+ "语言：java\n "
				+ "操作：输入quit退出阅读糗事百科\n  "
				+ "功能：输入任意字符依次浏览今日的糗百热点\n  "
				+ "\n"
				+ "---------------------------------------\n ");
		while (!scanner.nextLine().equals("quit")) {
				System.out.println("第"+page+"页"+results.get(index++));
				if(index>=results.size()){ 
					page+=1;
					String newResult=spider(url,page);
					filterData(newResult);
					index=0;
				}
		}
	}

	
	/**
	 *  此处测试使用（程序入口）
	 * @param agrs
	 */
	public static void main(String[] agrs) { 
		String result = spider(url,page);
		filterData(result);
		showMsg(page);
	}
	
}