用HtmlCleaner抓取新闻

HtmlCleaner 用来做html的网页分析 能够做到过滤一些标签  提取一些标签

他能够利用xpath来进行筛选，非常方便。

这里简单的做点介绍

首先导入jar包

然后建立对象HtmlCleaner  根据URL和charset来分析出网页所有的标签。

然后筛选我们想要的信息

Demo如下：

//HtmlCleaner Demo 
//读取了http://www.baidu.com下的   所有<p>标签中id属性为nv的标签  在这些标签下的子标签<a>

import java.net.URL;

import org.htmlcleaner.*;

public class CrawDemo {

	public static void main(String[] args) throws Exception{
		try {
			HtmlCleaner cleaner = new HtmlCleaner();
			URL url = new URL("http://www.baidu.com");
			TagNode node = cleaner.clean(url, "utf-8");
			Object[] tagNodes = node.evaluateXPath("//p[@id='nv']/a");  //找到<p>标签中id为nv的<p>标签  这些<p>标签下有子标签<a>的 标签们
			//按tag取.    取出title
	        //Object[] ns = node.getElementsByName("title", true);    //标题  
			//按属性值取            取出 name="my_href" 的链接
	        //ns = node.getElementsByAttValue(attname, attvalue, 是否递归查找, 是否大小写敏感);  
			for (Object tagNode : tagNodes){
				System.out.println(((TagNode)tagNode).getText());
				System.out.println(((TagNode)tagNode).getAttributeByName("href"));
			}
		}
		catch (Exception exception){
			exception.printStackTrace();
		}
	}
}

用起来非常方便！

介绍几个好用的函数。

按XPATH找标签  返回对象们 Object[ ]

node.evaluateXPath(xPathExpression)

返回该标签的属性名

node.getAttributeByName(attName)

返回标签的内容

node.getText()

按属性及属性值查找标签        返回该标签  TagNode

node.findElementByAttValue(attName, attValue, isRecursive, isCaseSensitive)

找标签名  返回该标签  TagNode

node.findElementByName(findName, isRecursive)

获取网页信息以标签形式展现

HtmlCleaner cleaner = new HtmlCleaner();
TagNode node = cleaner.clean(new URL(url));
String htmlString = cleaner.getInnerHtml(node);