xpath 解析html java_Java下使用xpath解析html文件

这段时间一直在网络上扒取数据,为了方便就用到了xpath,一开始使用真的是挺难的,不过用用就好了,但是网上的资源少之又少,所以自己就写个博客把~~~ 首先需要下载三个jar包 nekohtml.jar xalan.jar xerceslmpl.jar 在下面的这个文章中可以找自己想要的

这段时间一直在网络上扒取数据,为了方便就用到了xpath,一开始使用真的是挺难的,不过用用就好了,但是网上的资源少之又少,所以自己就写个博客把~~~

首先需要下载三个jar包  nekohtml.jar   xalan.jar   xerceslmpl.jar

在下面的这个文章中可以找自己想要的语法结构

http://blog.csdn.net/dyoldfish/article/details/1774539

直接上代码

不好意思,这个文本编辑器实在是不好用,凑合着看~~

import org.apache.xpath.XPathAPI;

import org.cyberneko.html.parsers.DOMParser;

import org.w3c.dom.DOMException;

import org.w3c.dom.Document;

import org.w3c.dom.Node;

import org.w3c.dom.NodeList;

import org.xml.sax.InputSource;

public class Hxpath {

DOMParser parser = new DOMParser();

try {

//设置网页的默认编码

parser.setProperty("http://cyberneko.org/html/properties/default-encoding","gb2312");

parser.setFeature("http://xml.org/sax/features/namespaces", false);

//可以修改获取页面的编码方式,在最后的那个参数

BufferedReader in = new BufferedReader(new InputStreamReader(new URL("www.baidu.com").openStream(),"gb2312"));

parser.parse(new InputSource(in)); in.close();

} catch (Exception e) {

e.printStackTrace();

}

Document doc = parser.getDocument();

String productsXpath = "//UL/LI/A[@class='orange"; //xpath语句

NodeList products; products = XPathAPI.selectNodeList(doc, productsXpath);

String temp="";Node node = null;String p = "";

for (int i = 0; i < products.getLength(); i++) {

node = products.item(i);temp=node.getTextContent().trim();

System.out.println("i="+i+" "+temp);

}

}整个程序基本是这样的,在其中修改url值和xpath语法就可以分析html页面,如果是本地的html文件,没有试过,这个是直接从网络获取

两个语句之间使用 | 可以匹配多个

如果还有其他问题就留言~~~感觉这个东西还算是很好用的~~~

JsoupXpath 是一款纯Java开发的使用xpath解析html解析器,xpath语法分析与执行完全独立,html的DOM树生成借助Jsoup,故命名为JsoupXpath.为了在java里也享受xpath的强大与方便但又苦于找不到一款足够强大的xpath解析器,故开发了JsoupXpath。JsoupXpath的实现逻辑清晰,扩展方便,支持几乎全部常用的xpath语法.http://www.cnblogs.com/ 为例 "//a/@href"; "//div[@id='paging_block']/div/a[text()='Next >']/@href"; "//div[@id='paging_block']/div/a[text()*='Next']/@href"; "//h1/text()"; "//h1/allText()"; "//h1//text()"; "//div/a"; "//div[@id='post_list']/div[position()1000]/div/h3/allText()"; //轴支持 "//div[@id='post_list']/div[self::div/div/div/span[@class='article_view']/a/num()>1000]/div/h3/allText()"; "//div[@id='post_list']/div[2]/div/p/preceding-sibling::h3/allText()"; "//div[@id='post_list']/div[2]/div/p/preceding-sibling::h3/allText()|//div[@id='post_list']/div[1]/div/h3/allText()"; 在这里暂不列出框架间的对比了,但我相信,你们用了会发现JsoupXpath就是目前市面上最强大的的Xpath解析器。 快速开始 如果不方便使用maven,可以直接使用lib下的依赖包跑起来试试,如方便可直接使用如下dependency(已经上传至中央maven库,最新版本0.1.1):    cn.wanghaomiao    JsoupXpath    0.1.1 依赖配置好后,就可以使用如下例子进行体验了!String xpath="//div[@id='post_list']/div[./div/div/span[@class='article_view']/a/num()>1000]/div/h3/allText()";String doc = "..."; JXDocument jxDocument = new JXDocument(doc); List<Object> rs = jxDocument.sel(xpath); for (Object o:rs){     if (o instanceof Element){             int index = ((Element) o).siblingIndex();             System.out.println(index);     }     System.out.println(o.toString()); } 其他可以参考 cn.wanghaomiao.example包下的例子 语法 支持标准xpath语法(支持谓语嵌套),支持全部常用函数,支持全部常用轴,去掉了一些标准里面华而不实的函数和轴,下面会具体介绍。语法可以参考http://www.w3school.com.cn/xpath/index.asp 关于使用Xpath的一些注意事项 非常不建议直接粘贴Firefox或chrome里生成的Xpa
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值