htmlparser分析网页链接时的问题

利用htmlparser在解析网页的url链接时,我们想提取指定标签下的链接。例如:div id=wrap下的链接,可以通过下面代码实现:

Parser parser = new Parser(url);
NodeFilter nodefilter1=new AndFilter(new TagNameFilter(nodename),new HasAttributeFilter(attr,attrvalue));
try {
org.htmlparser.util.NodeList nodeList=parser.extractAllNodesThatMatch(nodefilter1);
nodefilter1=new NodeClassFilter(LinkTag.class);
nodeList=nodeList.extractAllNodesThatMatch(nodefilter1,true);
for(org.htmlparser.Node node:nodeList.toNodeArray()){
if(node instanceof LinkTag){
LinkTag links=(LinkTag)node;
// if(links.extractLink().length()>textleaf.length()){

uArrayList.add(links.extractLink());
// }
}
}


但是发现在有时解析出的url网址没有全部被解析(是不是htmlparser的BUG)。举例说明下:
http://news.sina.com.cn/china/我们解析新浪新闻网下<div id="wrap">的链接,而用上述只能解析出http://news.sina.com.cn等四个网址,这是上述标签下的一个子标签的链接。而如果我们将网页中的Script,STYLE标签过滤掉之后,链接就都有了。。过滤Script、style等标签我是用的DOM树进行。
不知道有没有人知道上述问题的原因。
  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值