HtmlParser解析HTML

在抓取完爬虫数据后就要提取我们需要的内容了,这时就要用到htmlparser对HTML标签进行解析,如对Image.Link,Iframe地址等。
版本 HtmlParser 2.0

import org.htmlparser.Node;
import org.htmlparser.NodeFilter;
import org.htmlparser.Parser;
import org.htmlparser.PrototypicalNodeFactory;
import org.htmlparser.filters.NodeClassFilter;
import org.htmlparser.filters.OrFilter;
import org.htmlparser.tags.FrameTag;
import org.htmlparser.tags.ImageTag;
import org.htmlparser.tags.LinkTag;
import org.htmlparser.util.NodeList;
import org.htmlparser.util.ParserException;

public class OrFilterForIamgeOrLinkOrFrame {

public static void main(String[] args) throws ParserException {
getImage("http://dataprice.jcauto.com.cn/ProConsole/carComments/pShowCarCompareThree.action?ids=01400010000001,01400009000001&zj=121");
}

public static void getImage(String url) throws ParserException {
Parser parser = new Parser(url);
parser.setEncoding("gb2312");
PrototypicalNodeFactory pnfPrototypicalNodeFactory = new PrototypicalNodeFactory();
pnfPrototypicalNodeFactory.registerTag(new IframeTag());
parser.setNodeFactory(pnfPrototypicalNodeFactory);

NodeFilter filter = new NodeClassFilter(ImageTag.class);
NodeFilter filter1 = new NodeClassFilter(LinkTag.class);
NodeFilter filter2 = new NodeClassFilter(IframeTag.class);
OrFilter orFilter = new OrFilter(filter1, filter);
OrFilter orFilter1 = new OrFilter(filter2, orFilter);
NodeList nodelist = parser.extractAllNodesThatMatch(orFilter1);
for (Node node : nodelist.toNodeArray()) {
if (node instanceof ImageTag) {
ImageTag img = (ImageTag) node;
if (img != null) {
System.out
.println("imag------------->" + img.getImageURL());

}
}
if (node instanceof LinkTag) {
LinkTag link = (LinkTag) node;
if (link != null) {
System.out.println("herf------------->" + link.getLink());
}
}
if (node instanceof IframeTag) {
{
IframeTag frame = (IframeTag) node;

if (frame != null) {
System.out.println("iframe------------->"+ frame.getAttribute("src"));
}

}
}
}

}
}


对多标签处理就要采用OrFilter,必须要注意的是配置OrFilter时只有new PrototypicalNodeFactory ,然后将IframeTag标签放置在registerTag里,在将对象setNodeFactory里,orFilter才会起作用,否则访问不到IFRAME的内容。
  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值