用HtmlCleaner抓取新闻

HtmlCleaner 用来做html的网页分析 能够做到过滤一些标签  提取一些标签

他能够利用xpath来进行筛选，非常方便。

这里简单的做点介绍

首先导入jar包

然后建立对象HtmlCleaner  根据URL和charset来分析出网页所有的标签。

然后筛选我们想要的信息

Demo如下：

[java]  view plain copy

1. //HtmlCleaner Demo   
2. //读取了http://www.baidu.com下的   所有<p>标签中id属性为nv的标签  在这些标签下的子标签<a>  
3.   
4. import java.net.URL;  
5.   
6. import org.htmlcleaner.*;  
7.   
8. public class CrawDemo {  
9.   
10.     public static void main(String[] args) throws Exception{  
11.         try {  
12.             HtmlCleaner cleaner = new HtmlCleaner();  
13.             URL url = new URL("http://www.baidu.com");  
14.             TagNode node = cleaner.clean(url, "utf-8");  
15.             Object[] tagNodes = node.evaluateXPath("//p[@id='nv']/a");  //找到<p>标签中id为nv的<p>标签  这些<p>标签下有子标签<a>的 标签们  
16.             //按tag取.    取出title  
17.             //Object[] ns = node.getElementsByName("title", true);    //标题    
18.             //按属性值取            取出 name="my_href" 的链接  
19.             //ns = node.getElementsByAttValue(attname, attvalue, 是否递归查找, 是否大小写敏感);    
20.             for (Object tagNode : tagNodes){  
21.                 System.out.println(((TagNode)tagNode).getText());  
22.                 System.out.println(((TagNode)tagNode).getAttributeByName("href"));  
23.             }  
24.         }  
25.         catch (Exception exception){  
26.             exception.printStackTrace();  
27.         }  
28.     }  
29. }  

用起来非常方便！

介绍几个好用的函数。

按XPATH找标签  返回对象们 Object[ ]

[java]  view plain copy

1. node.evaluateXPath(xPathExpression)  

返回该标签的属性名

[java]  view plain copy

1. node.getAttributeByName(attName)  

返回标签的内容

[java]  view plain copy

1. node.getText()  

按属性及属性值查找标签        返回该标签  TagNode

[java]  view plain copy

1. node.findElementByAttValue(attName, attValue, isRecursive, isCaseSensitive)  

找标签名  返回该标签  TagNode

[java]  view plain copy

1. node.findElementByName(findName, isRecursive)  

获取网页信息以标签形式展现

[java]  view plain copy

1. HtmlCleaner cleaner = new HtmlCleaner();  
2. TagNode node = cleaner.clean(new URL(url));