java HtmlParser 抓取信息

      最近百度Hi积分8000多了，想用积分换点礼品，但是发现礼品的库存老是0，所以萌发了一个写程序实现查看百度礼品库存的功能。下面的代码将实现定时从网页中截取相关信息。需要类库：htmlparser1_6 的htmlparser.jar下载地址：http://sourceforge.net/projects/htmlparser/files/htmlparser/

RefreshTask.javapackage com.wenjx.assist;

import java.util.Date;
import java.util.HashSet;
import java.util.Iterator;
import java.util.Set;
import java.util.TimerTask;
import org.htmlparser.NodeFilter;
import org.htmlparser.Parser;
import org.htmlparser.filters.NodeClassFilter;
import org.htmlparser.tags.Div;
import org.htmlparser.tags.LinkTag;
import org.htmlparser.util.NodeList;
import org.htmlparser.util.ParserException;

public class RefreshTask extends TimerTask{

	public RefreshTask() {
		super();
	}
		
	public static String getGiftInfo(String url) throws ParserException{
		String result = url;
		String temp="";
		NodeFilter filter = new NodeClassFilter(Div.class);
		Parser parser = new Parser();
		parser.setURL(url);
		parser.setEncoding(parser.getEncoding());
		NodeList list = parser.extractAllNodesThatMatch(filter);
		for (int i = 0; i < list.size(); i++) {		
			Div node = (Div) list.elementAt(i);
			String tempName=node.getAttribute("id");
			if("giftIntroWrap".equals(tempName)){
				  result+=node.toPlainTextString();  
				break;
			}
	}
		String [] strs=result.split("/n");
		for(String str:strs ){
			if(!("".equals(str))&&!(" ".equals(str)))
				temp+=str+"; ";
		}
		System.out.println(temp);
		return temp;
	}


	@Override
	public void run() {
		
		NodeFilter filter = new NodeClassFilter(LinkTag.class);
		Parser parser = new Parser();
		try {
			parser.setURL("http://im.baidu.com/wealth/gift.php");
			parser.setEncoding(parser.getEncoding());
			NodeList list = parser.extractAllNodesThatMatch(filter);
			Set linkSet=new HashSet();
			for (int i = 0; i < list.size(); i++) {		
				LinkTag node = (LinkTag) list.elementAt(i);
				String tempLink=node.extractLink();
				if(tempLink.contains("giftid=")){
					linkSet.add(node.extractLink());
				}
		}
			System.out.println("------------------------"+new Date()+"---------------------------------");
			getGiftInfo(linkSet);
			System.out.println();
		} catch (ParserException e) {
			// TODO Auto-generated catch block
			e.printStackTrace();
		}
		
		
	}
	
	public static String getGiftInfo(Set set) throws ParserException{
		Iterator ir=set.iterator();
		while(ir.hasNext()){
			getGiftInfo((String) ir.next());
		}
		return null;
	}	
}

BaiduHi.javapackage com.wenjx.test;

import java.util.Timer;
import com.wenjx.assist.RefreshTask;

public class BaiduHi {

	public static void main(String[] args) {
		long delay;
			try {
				delay=Long.parseLong(args[0]);			   //程序参数
				Timer timer=new Timer();				
				timer.schedule(new RefreshTask(),0,delay); //定时执行程序
			}catch(NumberFormatException e){
				System.out.println("参数格式错误！");
			}
  }
		
}

 运行时要指定参数，下图是在eclipse中制定参数的方法：

程序输出结果为：

------------------------Mon Mar 14 14:55:00 CST 2011---------------------------------
http://im.baidu.com/wealth/detail.php?giftid=42; 礼品名称:ooh Dear钻石礼物网购物券; 原积分：500; 现积分：300; 库存：98个;
http://im.baidu.com/wealth/detail.php?giftid=26; 礼品名称:百度Hi卡包; 原积分：3000; 现积分：2800; 库存：0个;
http://im.baidu.com/wealth/detail.php?giftid=35; 礼品名称:百度文库10个财富值; 原积分：300; 现积分：200; 库存：0个;
http://im.baidu.com/wealth/detail.php?giftid=41; 礼品名称:ooh Dear钻石礼物网购物券; 原积分：1500; 现积分：800; 库存：25个;
http://im.baidu.com/wealth/detail.php?giftid=27; 礼品名称:百度棒球帽; 原积分：4000; 现积分：3800; 库存：0个;
http://im.baidu.com/wealth/detail.php?giftid=40; 礼品名称:可爱手枕; 原积分：2600; 现积分：2500; 库存：0个;
http://im.baidu.com/wealth/detail.php?giftid=32; 礼品名称:可口可乐艺术瓶单只; 原积分：2800; 现积分：2000; 库存：0个;

    哎，库存老是零，悲剧。程序暂时写成这个样子，用eclipse导出jar格式，然后在命令行中运行(写一个bat文件)。命令为：java -jar BaiduHi.jar 300000 >>log.txt 这样每隔5分钟，程序就会去网页上截取最新的信息，并写到log.txt文件中。我打算让程序运行几天，然后再看看log.txt文件，看看为什么礼品的库存老是0。