HtmlParser使用指南

最新推荐文章于 2023-02-01 16:21:31 发布
最新推荐文章于 2023-02-01 16:21:31 发布
阅读量123 收藏
点赞数
分类专栏： 爬虫 文章标签： htmlparser 爬虫

1、相关资料

官方文档：http://htmlparser.sourceforge.NET/samples.html

API：http://htmlparser.sourceforge.Net/javadoc/index.html

其它HTML 解释器：jsoup等。由于HtmlParser自2006年以后就再没更新，目前很多人推荐使用jsoup代替它。


2、使用HtmlPaser的关键步骤

（1）通过Parser类创建一个解释器

（2）创建Filter或者Visitor

（3）使用parser根据filter或者visitor来取得所有符合条件的节点

（4）对节点内容进行处理


3、使用Parser的构造函数创建解释器

Parser() 
          Zero argument constructor.
Parser(Lexer lexer) 
          Construct a parser using the provided lexer.
Parser(Lexer lexer, ParserFeedback fb) 
          Construct a parser using the provided lexer and feedback object.
Parser(String resource) 
          Creates a Parser object with the location of the resource (URL or file).
Parser(String resource, ParserFeedback feedback) 
          Creates a Parser object with the location of the resource (URL or file) You would typically create a DefaultHTMLParserFeedback object and pass it in.
Parser(URLConnection connection) 
          Construct a parser using the provided URLConnection.
Parser(URLConnection connection, ParserFeedback fb) 
          Constructor for custom HTTP access.
        对于大多数使用者来说，使用最多的是通过一个 URLConnection 或者一个保存有网页内容的字符串来初始化Parser，或者使用静态函数来生成一个Parser对象。 ParserFeedback 的代码很简单，是针对调试和跟踪分析过程的，一般不需要改变。而使用 Lexer 则是一个相对比较高级的话题，放到以后再讨论吧。
        这里比较有趣的一点是，如果需要设置页面的编码方式的话，不使用Lexer就只有静态函数一个方法了。对于大多数中文页面来说，好像这是应该用得比较多的一个方法。

4、HtmlPaser使用Node对象保存各节点信息



（1）访问各个节点的方法
Node getParent ()：取得父节点
NodeList getChildren ()：取得子节点的列表
Node getFirstChild ()：取得第一个子节点
Node getLastChild ()：取得最后一个子节点
Node getPreviousSibling ()：取得前一个兄弟（不好意思，英文是兄弟姐妹，直译太麻烦而且不符合习惯，对不起女同胞了）
Node getNextSibling ()：取得下一个兄弟节点
（2）取得Node内容的函数
String getText ()：取得文本
String toPlainTextString()：取得纯文本信息。
String toHtml () ：取得HTML信息（原始HTML）
String toHtml (boolean verbatim)：取得HTML信息（原始HTML）
String toString ()：取得字符串信息（原始HTML）
Page getPage ()：取得这个Node对应的Page对象
int getStartPosition ()：取得这个Node在HTML页面中的起始位置
int getEndPosition ()：取得这个Node在HTML页面中的结束位置


5、使用Filter访问Node节点及其内容

（1）Filter的种类

顾名思义，Filter就是对于结果进行过滤，取得需要的内容。

所有的Filter均实现了NodeFilter接口，此接口只有一个方法Boolean accept(Node node)，用于确定某个节点是否属于此Filter过滤的范围。

HTMLParser在org.htmlparser.filters包之内一共定义了16个不同的Filter，也可以分为几类。
判断类Filter：
TagNameFilter
HasAttributeFilter
HasChildFilter
HasParentFilter
HasSiblingFilter
IsEqualFilter
逻辑运算Filter：
AndFilter
NotFilter
OrFilter
XorFilter
其他Filter：
NodeClassFilter
StringFilter
LinkStringFilter
LinkRegexFilter
RegexFilter
CssSelectorNodeFilter

除此以外，可以自定义一些Filter，用于完成特殊需求的过滤。
（2）Filter的使用示例

以下示例用于提取HTML文件中的链接

  1. package org.ljh.search.html;  
  2.   
  3. import java.util.HashSet;  
  4. import java.util.Set;  
  5.   
  6. import org.htmlparser.Node;  
  7. import org.htmlparser.NodeFilter;  
  8. import org.htmlparser.Parser;  
  9. import org.htmlparser.filters.NodeClassFilter;  
  10. import org.htmlparser.filters.OrFilter;  
  11. import org.htmlparser.tags.LinkTag;  
  12. import org.htmlparser.util.NodeList;  
  13. import org.htmlparser.util.ParserException;  
  14.   
  15. //本类创建用于HTML文件解释工具  
  16. public class HtmlParserTool {  
  17.   
  18.     // 本方法用于提取某个html文档中内嵌的链接  
  19.     public static Set<String> extractLinks(String url, LinkFilter filter) {  
  20.         Set<String> links = new HashSet<String>();  
  21.         try {  
  22.             // 1、构造一个Parser，并设置相关的属性  
  23.             Parser parser = new Parser(url);  
  24.             parser.setEncoding("gb2312");  
  25.   
  26.             // 2.1、自定义一个Filter，用于过滤<Frame >标签，然后取得标签中的src属性值  
  27.             NodeFilter frameNodeFilter = new NodeFilter() {  
  28.                 @Override  
  29.                 public boolean accept(Node node) {  
  30.                     if (node.getText().startsWith("frame src=")) {  
  31.                         return true;  
  32.                     } else {  
  33.                         return false;  
  34.                     }  
  35.                 }  
  36.             };  
  37.               
  38.             //2.2、创建第二个Filter，过滤<a>标签  
  39.             NodeFilter aNodeFilter = new NodeClassFilter(LinkTag.class);  
  40.               
  41.             //2.3、净土上述2个Filter形成一个组合逻辑Filter。  
  42.             OrFilter linkFilter = new OrFilter(frameNodeFilter, aNodeFilter);  
  43.               
  44.             //3、使用parser根据filter来取得所有符合条件的节点  
  45.             NodeList nodeList = parser.extractAllNodesThatMatch(linkFilter);  
  46.               
  47.             //4、对取得的Node进行处理  
  48.             for(int i = 0; i<nodeList.size();i++){  
  49.                 Node node = nodeList.elementAt(i);  
  50.                 String linkURL = "";  
  51.                 //如果链接类型为<a />  
  52.                 if(node instanceof LinkTag){  
  53.                     LinkTag link = (LinkTag)node;  
  54.                     linkURL= link.getLink();  
  55.                 }else{  
  56.                     //如果类型为<frame />  
  57.                     String nodeText = node.getText();  
  58.                     int beginPosition = nodeText.indexOf("src=");  
  59.                     nodeText = nodeText.substring(beginPosition);  
  60.                     int endPosition = nodeText.indexOf(" ");  
  61.                     if(endPosition == -1){  
  62.                         endPosition = nodeText.indexOf(">");  
  63.                     }  
  64.                     linkURL = nodeText.substring(5, endPosition - 1);  
  65.                 }  
  66.                 //判断是否属于本次搜索范围的url  
  67.                 if(filter.accept(linkURL)){  
  68.                     links.add(linkURL);  
  69.                 }  
  70.             }  
  71.               
  72.         } catch (ParserException e) {  
  73.             e.printStackTrace();  
  74.         }  
  75.         return links;  
  76.     }  
  77. }  

程序中的一些说明：

（1）通过Node#getText()取得节点的String。

（2）node instanceof TagLink，即<a/>节点，其它还有很多的类似节点，如tableTag等，基本上每个常见的html标签均会对应一个tag。官方文档说明如下：

org.htmlparser.nodesThe nodes package has the concrete node implementations.
org.htmlparser.tagsThe tags package contains specific tags.
因此可以通过此方法直接判断一个节点是否某个标签内容。


其中用到的LinkFilter接口定义如下：

[java]  view plain copy 在CODE上查看代码片 派生到我的代码片
  1. package org.ljh.search.html;  
  2.   
  3. //本接口所定义的过滤器，用于判断url是否属于本次搜索范围。  
  4. public interface LinkFilter {  
  5.     public boolean accept(String url);  
  6. }  

测试程序如下：

[java]  view plain copy 在CODE上查看代码片 派生到我的代码片
  1. package org.ljh.search.html;  
  2.   
  3. import java.util.Iterator;  
  4. import java.util.Set;  
  5.   
  6. import org.junit.Test;  
  7.   
  8. public class HtmlParserToolTest {  
  9.   
  10.     @Test  
  11.     public void testExtractLinks() {  
  12.         String url = "http://www.baidu.com";  
  13.         LinkFilter linkFilter = new LinkFilter(){  
  14.             @Override  
  15.             public boolean accept(String url) {  
  16.                 if(url.contains("baidu")){  
  17.                     return true;  
  18.                 }else{  
  19.                     return false;  
  20.                 }  
  21.             }  
  22.               
  23.         };  
  24.         Set<String> urlSet = HtmlParserTool.extractLinks(url, linkFilter);  
  25.           
  26.         Iterator<String> it = urlSet.iterator();  
  27.         while(it.hasNext()){  
  28.             System.out.println(it.next());  
  29.         }  
  30.     }  
  31.   
  32. }  


输出结果如下：

http://www.hao123.com
http://www.baidu.com/
http://www.baidu.com/duty/
http://v.baidu.com/v?ct=301989888&rn=20&pn=0&db=0&s=25&word=
http://music.baidu.com
http://ir.baidu.com
http://www.baidu.com/gaoji/preferences.html
http://news.baidu.com
http://map.baidu.com
http://music.baidu.com/search?fr=ps&key=
http://image.baidu.com
http://zhidao.baidu.com
http://image.baidu.com/i?tn=baiduimage&ct=201326592&lm=-1&cl=2&nc=1&word=
http://www.baidu.com/more/
http://shouji.baidu.com/baidusearch/mobisearch.html?ref=pcjg&from=1000139w
http://wenku.baidu.com
http://news.baidu.com/ns?cl=2&rn=20&tn=news&word=
https://passport.baidu.com/v2/?login&tpl=mn&u=http%3A%2F%2Fwww.baidu.com%2F
http://www.baidu.com/cache/sethelp/index.html
http://zhidao.baidu.com/q?ct=17&pn=0&tn=ikaslist&rn=10&word=&fr=wwwt
http://tieba.baidu.com/f?kw=&fr=wwwt
http://home.baidu.com
https://passport.baidu.com/v2/?reg&regType=1&tpl=mn&u=http%3A%2F%2Fwww.baidu.com%2F
http://v.baidu.com
http://e.baidu.com/?refer=888
;
http://tieba.baidu.com
http://baike.baidu.com
http://wenku.baidu.com/search?word=&lm=0&od=0
http://top.baidu.com
http://map.baidu.com/m?word=&fr=ps01000


java 获取http数据类型_Java中实现Http请求并获取响应数据
weixin_33501348的博客
02-13 1298
前言在演示的功能代码中使用的请求http地址为：http://timor.tech/api/holiday/year/接口说明：获取指定年份或年月份的所有节假日信息。默认返回当前年份的所有信息。以上功能代码仅在使用GET请求方式时测试通过，POST等其他请求时请自行尝试。因未设置请求头时也成功获取了响应数据，所以未在演示代码中添加请求头信息，请求失败时可自行添加请求头信息后重试方式一：功能实现类 ...
htmlparser库与教程
09-15
htmlparser.jar htmlparser教程
HtmlParser基础教程
weixin_30411239的博客
05-22 168
1、相关资料 官方文档：http://htmlparser.sourceforge.net/samples.html API：http://htmlparser.sourceforge.net/javadoc/index.html 其它HTML 解释器：jsoup等。由于HtmlParser自2006年以后就再没更新，目前很多人推荐使用jsoup代替它。 ...
Java HttpResponse 详解
weixin_33828101的博客
02-26 2971
HttpServlet 类需要两个参数HttpRequest和HttpResponse。比如doGet方法 protected void doGet( HttpServletRequest request, HttpServletResponse response) throws ...
HTMLParser使用详解.doc
12-28
HTMLParser使用详解.doc HTMLParser使用详解.doc HTMLParser使用详解.doc
htmlparser使用指南
03-16
这个使用指南将深入探讨HTMLParser的基本概念、核心功能、使用方法以及常见应用场景，帮助开发者更好地理解和应用这个库。 一、HTMLParser简介 HTMLParser是基于Java语言的轻量级HTML解析器，它的设计目标是简化...
网络爬虫 HTMLParser 使用指南
03-21
综上所述，网络爬虫开发者在使用HTMLParser进行开发时，需要了解它的基本原理、核心类和构造函数、调试工具的使用、页面编码设置方法、以及一些基本的代码实践。同时，开发者应该具备良好的问题解决和代码调试能力，...
htmlparser 使用指南 入门 必读htmlparser 使用指南 入门 必读htmlparser 使用指南 入门 必读
11-18
HTMLParser的核心使用场景主要有两个：提取(extraction)和转换(transformation)。提取是指从网页中抽取数据，而转换则是指修改或创建新的HTML内容。1.4版本的HTMLParser在转换领域有了显著的改进，简化了标签的创建...
HTMLParser入门指南：解析网络抓取的利器
网络爬虫 HTMLParser 使用指南是一份专为网络资源抓取开发者准备的教程，它强调了HTMLParser这一工具因其小巧、高效的特点在爬虫开发中的重要性。尽管HTMLParser的文档相对匮乏，对新手来说可能需要投入更多时间去...
HTMLParser 使用详解
想了解甘道夫吗添加微信ID号：ganpucha
05-15 8446
简介 　　htmlparser是一个纯的java写的html解析的库，它不依赖于其它的java库文件，主要用于改造或 　　提取html。它能超高速解析html，而且不会出错。现在htmlparser最新版本为2.0。 　　毫不夸张地说，htmlparser就是目前最好的html解析和分析的工具。 　　无论你是想抓取网页数据还是改造html的内容，用了htmlpars
JavaWeb 入门篇（4）HttpResponse 详解 HttpRequest 详解
北
05-11 4050
HttpResponse 讲解 HttpServletResponse概述: ​ 在创建Servlet时会覆盖service()方法，或doGet()/doPost(),这些方法都有两个参数，一个为代表请求的request和代表响应response。service方法中的response的类型是ServletResponse，而doGet/doPost方法的response的类型是HttpServletResponse，HttpServletResponse是ServletResponse的子接口，功
网页信息抓取利器HTMLParser的使用
w_y_loong的专栏
12-26 1159
声明：转载自http://www.cnblogs.com/loveyakamoz/archive/2011/07/27/2118937.html HTMLParser具有小巧，快速的优点，缺点是相关文档比较少（英文的也少），很多功能需要自己摸索。对于初学者还是要费一些功夫的，而一旦上手以后，会发现HTMLParser的结构设计很巧妙，非常实用，基本你的各种需求都可以满足。     这里我根据自
Java: 获取http请求response中某个值
鼓浪屿岛与海的博客
02-08 6566
用java获取http请求响应的某个值
java——Servlet的request和response
最新发布
hai_man_的博客
02-01 3087
java——servlet
HtmlParse：一款超轻量级的HTML文件解析和爬取工具
lgsoftlee的博客
06-14 829
HtmlParse 是一款基于windwos平台的HTML文档解析工具，可快速构建DOM树，从而轻松实现网页元素的爬取工作。DOM树就是一个HTML文档的节点树，每个节点由：标签（Tag）、属性（Attribute）、文本（Text）三个值来描述。 所谓的HTML文档解析，指的就是如何构建一颗DOM树，只有成功构建出DOM树，才有可能进行后续的数据爬取和分析工作。显然，构建DOM树是比较复杂的过程，因为不是每一个HTML文档都会严格按照规范来书写，因此解析过程需要具有一定容错能力。此外，解析效率也是一个
java获取response_java response响应设置 java怎么获取response
weixin_33734087的博客
02-26 3234
java怎么获取responseStruts2为小编们提供了一种最简单的方法获得HttpServletResponse及其他对象。这就是org.apache.struts2.ServletActionContext类。小编们可以直接使用ServletActionContext类的getRequest、getResponse方法来获得HttpServletRequest、HttpServletRes...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值