HtmlCleaner 用来做html的网页分析 能够做到过滤一些标签 提取一些标签
他能够利用xpath来进行筛选,非常方便。
这里简单的做点介绍
首先导入jar包
然后建立对象HtmlCleaner 根据URL和charset来分析出网页所有的标签。
然后筛选我们想要的信息
Demo如下:
- //HtmlCleaner Demo
- //读取了http://www.baidu.com下的 所有<p>标签中id属性为nv的标签 在这些标签下的子标签<a>
- import java.net.URL;
- import org.htmlcleaner.*;
- public class CrawDemo {
- public static void main(String[] args) throws Exception{
- try {
- HtmlCleaner cleaner = new HtmlCleaner();
- URL url = new URL("http://www.baidu.com");
- TagNode node = cleaner.clean(url, "utf-8");
- Object[] tagNodes = node.evaluateXPath("//p[@id='nv']/a"); //找到<p>标签中id为nv的<p>标签 这些<p>标签下有子标签<a>的 标签们
- //按tag取. 取出title
- //Object[] ns = node.getElementsByName("title", true); //标题
- //按属性值取 取出 name="my_href" 的链接
- //ns = node.getElementsByAttValue(attname, attvalue, 是否递归查找, 是否大小写敏感);
- for (Object tagNode : tagNodes){
- System.out.println(((TagNode)tagNode).getText());
- System.out.println(((TagNode)tagNode).getAttributeByName("href"));
- }
- }
- catch (Exception exception){
- exception.printStackTrace();
- }
- }
- }
用起来非常方便!
介绍几个好用的函数。
按XPATH找标签 返回对象们 Object[ ]
- node.evaluateXPath(xPathExpression)
- node.getAttributeByName(attName)
- node.getText()
按属性及属性值查找标签 返回该标签 TagNode
- node.findElementByAttValue(attName, attValue, isRecursive, isCaseSensitive)
找标签名 返回该标签 TagNode
- node.findElementByName(findName, isRecursive)
获取网页信息以标签形式展现
- HtmlCleaner cleaner = new HtmlCleaner();
- TagNode node = cleaner.clean(new URL(url));