HtmlParser 访问节点

最新推荐文章于 2021-02-13 04:07:28 发布
最新推荐文章于 2021-02-13 04:07:28 发布
阅读量154 收藏
点赞数
分类专栏： 实用程序 文章标签： Google J# log4j PHP Apache
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/czhaozhi3758/article/details/83907136
版权 

package com.htmlparse.test;
import java.net.URL;  
import org.apache.log4j.Logger;   
import org.htmlparser.Node;   
import org.htmlparser.NodeFilter;   
import org.htmlparser.Parser;   
import org.htmlparser.Tag;   
import org.htmlparser.beans.LinkBean;   
import org.htmlparser.filters.NodeClassFilter;   
import org.htmlparser.filters.OrFilter;   
import org.htmlparser.filters.TagNameFilter;   
import org.htmlparser.tags.HeadTag;   
import org.htmlparser.tags.ImageTag;   
import org.htmlparser.tags.InputTag;   
import org.htmlparser.tags.LinkTag;   
import org.htmlparser.tags.OptionTag;   
import org.htmlparser.tags.SelectTag;   
import org.htmlparser.tags.TableColumn;   
import org.htmlparser.tags.TableRow;   
import org.htmlparser.tags.TableTag;   
import org.htmlparser.tags.TitleTag;   
import org.htmlparser.util.NodeIterator;   
import org.htmlparser.util.NodeList;   
import org.htmlparser.util.ParserException;   
import org.htmlparser.visitors.HtmlPage;   
import org.htmlparser.visitors.NodeVisitor;   
import org.htmlparser.visitors.ObjectFindingVisitor; 


public class HtmlParser {

	  private static final Logger logger = Logger.getLogger(HtmlParser.class);   

	   /*  
	   * 测试ObjectFindVisitor的用法  
	   */  
	  public void testImageVisitor() {   
	    try {   
	      ImageTag imgLink;   
	      ObjectFindingVisitor visitor = new ObjectFindingVisitor(ImageTag.class);   
	      Parser parser = new Parser();   
	      parser.setURL("http://www.google.com");   
	      parser.setEncoding(parser.getEncoding());   
	      parser.visitAllNodesWith(visitor);   
	      Node[] nodes = visitor.getTags();   
	      for (int i = 0; i < nodes.length; i++) {   
	        imgLink = (ImageTag) nodes[i];   
	        System.out.println("testImageVisitor() ImageURL = " + imgLink.getImageURL());   
	        System.out.println("testImageVisitor() ImageLocation = " + imgLink.extractImageLocn());   
	        System.out.println("testImageVisitor() SRC = " + imgLink.getAttribute("SRC"));   
	        }   
	      } catch (Exception e) {   
	      e.printStackTrace();   
	      }   
	  }   

	  /*  
	   * 测试TagNameFilter用法  
	   */  
	  public void testNodeFilter() {   
	    try {   
	      NodeFilter filter = new TagNameFilter("IMG");   
	      Parser parser = new Parser();   
	      parser.setURL("http://www.google.com");   
	      parser.setEncoding(parser.getEncoding());   
	      NodeList list = parser.extractAllNodesThatMatch(filter);   
	      for (int i = 0; i < list.size(); i++) {   
	        logger.fatal("testNodeFilter() " + list.elementAt(i).toHtml());   
	      }   
	    } catch (Exception e) {   
	      e.printStackTrace();   
	    }   

	  }   

	  /*  
	   * 测试NodeClassFilter用法  
	   */  
	  public void testLinkTag() {   
	    try {   

	      NodeFilter filter = new NodeClassFilter(LinkTag.class);   
	      Parser parser = new Parser();   
	      parser.setURL("http://www.google.com");   
	      parser.setEncoding(parser.getEncoding());   
	      NodeList list = parser.extractAllNodesThatMatch(filter);//匹配一个过滤条件  
	      for (int i = 0; i < list.size(); i++) {   
	        LinkTag node = (LinkTag) list.elementAt(i);   
	        logger.fatal("testLinkTag() Link is :" + node.extractLink());   
	      }   
	    } catch (Exception e) {   
	      e.printStackTrace();   
	    }   

	  }   

	  /*  
	   * 测试<link href=" text=’text/css’ rel=’stylesheet’ />用法  
	   */  
	  public void testLinkCSS() {   
	    try {   

	      Parser parser = new Parser();   
	      parser.setInputHTML("<head><title>Link Test</title>"  
	          + "<link href=’/test01/css.css' text='text/css' rel='stylesheet' />"  
	          + "<link href='/test02/css.css' text='text/css' rel='stylesheet' />" + "</head>"  
	          + "<body>");   
	      parser.setEncoding(parser.getEncoding());   

	      for (NodeIterator e = parser.elements(); e.hasMoreNodes();) {   
	        Node node = e.nextNode();   
	        logger.fatal("testLinkCSS()" + node.getText() + node.getClass());   

	      }   
	    } catch (Exception e) {   
	      e.printStackTrace();   
	    }   
	  }   

	  /*  
	   * 测试OrFilter的用法  
	   */  
	  public void testOrFilter() {   
	    NodeFilter inputFilter = new NodeClassFilter(InputTag.class);   
	    NodeFilter selectFilter = new NodeClassFilter(SelectTag.class);   

	    NodeList nodeList = null;   

	    try {   
	      Parser parser = new Parser();   
	      parser.setInputHTML("<head><title>OrFilter Test</title>"  
	              + "<link href='/test01/css.css' text='text/css' rel='stylesheet' />"  
	              + "<link href='/test02/css.css' text='text/css' rel='stylesheet' />"  
	              + "</head>"  
	              + "<body>"  
	              + "<input type='text' value='text1' name='text1'/>"  
	              + "<input type='text' value='text2' name='text2'/>"  
	              + "<select><option id='1′>1</option><option id='2′>2</option><option id='3′></option></select>"  
	              + "<a href='http://www.yeeach.com'>yeeach.com</a>" + "</body>");   

	      parser.setEncoding(parser.getEncoding());   
	      OrFilter lastFilter = new OrFilter();//匹配多个过滤条件   
	      lastFilter.setPredicates(new NodeFilter[] { selectFilter, inputFilter });   
	      nodeList = parser.parse(lastFilter);//添加过滤   
	      for (int i = 0; i <= nodeList.size(); i++) {   
	        if (nodeList.elementAt(i) instanceof InputTag) {   
	          InputTag tag = (InputTag) nodeList.elementAt(i);   
	          System.out.println("OrFilter tag name is :" + tag.getTagName() + " ,tag value is:"  
	              + tag.getAttribute("value"));   
	        }   
	        if (nodeList.elementAt(i) instanceof SelectTag) {   
	          SelectTag tag = (SelectTag) nodeList.elementAt(i);   
	          NodeList list = tag.getChildren();   

	          for (int j = 0; j < list.size(); j++) {   
	            OptionTag option = (OptionTag) list.elementAt(j);   
	            System.out.println("OrFilter Option" + option.getOptionText());   
	          }   

	        }   
	      }   

	    } catch (ParserException e) {   
	      e.printStackTrace();   
	    }   
	  }   

	  /*  
	   * 测试对<table><tr><td></td></tr></table>的解析  
	   */  
	  public void testTable() {   
	    Parser myParser;   
	    NodeList nodeList = null;   
	    myParser = Parser.createParser("<body> " + "<table id='table1′ >"  
	        + "<tr><td>1-11</td><td>1-12</td><td>1-13</td>"  
	        + "<tr><td>1-21</td><td>1-22</td><td>1-23</td>"  
	        + "<tr><td>1-31</td><td>1-32</td><td>1-33</td></table>" + "<table id='table2′ >"  
	        + "<tr><td>2-11</td><td>2-12</td><td>2-13</td>"  
	        + "<tr><td>2-21</td><td>2-22</td><td>2-23</td>"  
	        + "<tr><td>2-31</td><td>2-32</td><td>2-33</td></table>" + "</body>", "GBK");   
	    NodeFilter tableFilter = new NodeClassFilter(TableTag.class);   
	    OrFilter lastFilter = new OrFilter();   
	    lastFilter.setPredicates(new NodeFilter[] { tableFilter });   
	    try {   
	      nodeList = myParser.parse(lastFilter);   
	      for (int i = 0; i <= nodeList.size(); i++) {   
	        if (nodeList.elementAt(i) instanceof TableTag) {   
	          TableTag tag = (TableTag) nodeList.elementAt(i);   
	          TableRow[] rows = tag.getRows();   

	          for (int j = 0; j < rows.length; j++) {   
	            TableRow tr = (TableRow) rows[j];   
	            TableColumn[] td = tr.getColumns();   
	            for (int k = 0; k < td.length; k++) {   
	              logger.fatal("<td>" + td[k].toPlainTextString());   
	            }   

	          }   

	        }   
	      }   

	    } catch (ParserException e) {   
	      e.printStackTrace();   
	    }   
	  }   

	  /*  
	   * 测试NodeVisitor的用法，遍历所有节点  
	   */  
	  public void testVisitorAll() {   
	    try {   
	      Parser parser = new Parser();   
	      parser.setURL("http://www.google.com");   
	      parser.setEncoding(parser.getEncoding());   
	      NodeVisitor visitor = new NodeVisitor() {   
	        public void visitTag(Tag tag) {   
	          logger.fatal("testVisitorAll()  Tag name is :" + tag.getTagName() + " \n Class is :"  
	              + tag.getClass());   
	        }   

	      };   

	      parser.visitAllNodesWith(visitor);   
	    } catch (ParserException e) {   
	      e.printStackTrace();   
	    }   
	  }   

	  /*  
	   * 测试对指定Tag的NodeVisitor的用法  
	   */  
	  public void testTagVisitor() {   
	    try {   

	      Parser parser = new Parser("<head><title>dddd</title>"  
	          + "<link href='/test01/css.css' text='text/css' rel='stylesheet' />"  
	          + "<link href='/test02/css.css' text='text/css' rel='stylesheet' />" + "</head>"  
	          + "<body>" + "<a href='http://www.yeeach.com'>yeeach.com</a>" + "</body>");   
	      NodeVisitor visitor = new NodeVisitor() {   
	        public void visitTag(Tag tag) {   
	          if (tag instanceof HeadTag) {   
	        	  System.out.println("visitTag() HeadTag : Tag name is :" + tag.getTagName()   
	                + " \n Class is :" + tag.getClass() + "\n Text is :" + tag.getText());   
	          } else if (tag instanceof TitleTag) {   
	        	  System.out.println("visitTag() TitleTag : Tag name is :" + tag.getTagName()   
	                + " \n Class is :" + tag.getClass() + "\n Text is :" + tag.getText());   

	          } else if (tag instanceof LinkTag) {   
	        	  System.out.println("visitTag() LinkTag : Tag name is :" + tag.getTagName()   
	                + " \n Class is :" + tag.getClass() + "\n Text is :" + tag.getText()   
	                + " \n getAttribute is :" + tag.getAttribute("href"));   
	          } else {   
	        	  System.out.println("visitTag() : Tag name is :" + tag.getTagName() + " \n Class is :"  
	                + tag.getClass() + "\n Text is :" + tag.getText());   
	          }   

	        }   

	      };   

	      parser.visitAllNodesWith(visitor);   
	    } catch (Exception e) {   
	      e.printStackTrace();   
	    }   
	  }   

	  /*  
	   * 测试HtmlPage的用法  
	   */  
	  public void testHtmlPage() {   
	    String inputHTML = "<html>" + "<head>"  
	        + "<title>Welcome to the HTMLParser website</title>" + "</head>" + "<body>"  
	        + "Welcome to HTMLParser" + "<table id='table1′ >"  
	        + "<tr><td>1-11</td><td>1-12</td><td>1-13</td>"  
	        + "<tr><td>1-21</td><td>1-22</td><td>1-23</td>"  
	        + "<tr><td>1-31</td><td>1-32</td><td>1-33</td></table>" + "<table id='table2′ >"  
	        + "<tr><td>2-11</td><td>2-12</td><td>2-13</td>"  
	        + "<tr><td>2-21</td><td>2-22</td><td>2-23</td>"  
	        + "<tr><td>2-31</td><td>2-32</td><td>2-33</td></table>" + "</body>" + "</html>";   
	    Parser parser = new Parser();   
	    try {   
	      parser.setInputHTML(inputHTML);   
	      parser.setEncoding(parser.getURL());   
	      HtmlPage page = new HtmlPage(parser);   
	      parser.visitAllNodesWith(page); //应用指定的访问器  
	      System.out.println("testHtmlPage -title is :" + page.getTitle());//获取title中的内容   
	      NodeList list = page.getBody();   
	      for (NodeIterator iterator = list.elements(); iterator.hasMoreNodes();) {   
	        Node node = iterator.nextNode();   
	        System.out.println("testHtmlPage -node  is :" + node.toHtml());   
	      }   

	    } catch (ParserException e) {   
	      // TODO Auto-generated catch block   
	      e.printStackTrace();   
	    }   
	  }   

	   /*  
	   * 测试LinkBean的用法[获取页面所有超链接]  
	   */  
	  public void testLinkBean() {   
	    LinkBean linkBean = new LinkBean();   
	    linkBean.setURL("http://www.baidu.com/index.php?tn=9991com");   
	    URL[] urls = linkBean.getLinks();   

	    for (int i = 0; i < urls.length; i++) {   
	      URL url = urls[i];   
	      System.out.println("testLinkBean() -url  is :" + url);   
	    }   

	  }  

	  public static void main(String[] args) {

		  HtmlParser parse = new HtmlParser();
		  parse.testOrFilter();
	}

}

czhaozhi3758
关注
专栏目录
domelementtype:htmlparser2 dom中所有类型的节点
05-02
这些节点在DOM中不是直接子节点，而是通过`Element.attributes`访问。 6. **处理指令节点（ProcessingInstruction）**：在XML文档中常见，用于向处理器提供特定的指令，如`<?xml version="1.0" encoding="UTF-8"?>`...
htmlparser.jar文件
02-25
HTMLParser提供了多种方法来访问和操作解析树，比如`parseContent()`用于获取整个文档的节点列表，`visitAllNodesWith()`可以遍历所有节点并应用自定义的访问器，`getFirstNodeWithTag()`用于找到第一个特定标签的...
htmlparser获取循环节点内容和单个标签内容的方法
szjianzr的专栏
10-31 497
htmlparser接口可用于提取分析html页面的内容。 本文只简单说明下如何利用htmlparser获取某个节点标签的内容，和获取循环节点的列表内容的个人总结。其它操作方法，因网上已经有很多相关的帮助文档，在此不再重复说明。 大致思路： 1：定义org.htmlparser.filters的类型，确定需要获取的标签或内容范围。常用的HMLT filter类型有：AndFilter、H...
HtmlParser学习笔记（二）-- 遍历结点
雨中漫步--专栏
01-12 220
   这次主要演示下，如何迭代一个Node结点的所有根子结点。     首先 ，先来看下需要解析的html页面的内容，该文件命名为htmlparser.html，详细内容如下所示（该页面以后将会多次使用）： &lt;!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml...
访问html Dom节点的方法
java电商源码分享
04-15 228
一、直接获取 1、document.getElementById() 2、document.getElementsByTagName() 3、document.getElementById('ID').getElementsByTagName("标签名称");   实例： var x=document.getElementsByTagName("p"); for (var i=0;...
java htmlparser 使用教程_HtmlParser基础教程
weixin_31969181的博客
02-13 481
1、相关资料官方文档：http://htmlparser.sourceforge.net/samples.htmlAPI：http://htmlparser.sourceforge.net/javadoc/index.html其它HTML 解释器：jsoup等。由于HtmlParser自2006年以后就再没更新，目前很多人推荐使用jsoup代替它。2、使用HtmlPaser的关键步骤(1)通过Pa...
HTMLParser解析html详解
a639735331的博客
12-25 782
HTMLParser具有小巧，快速的优点，缺点是相关文档比较少（英文的也少），很多功能需要自己摸索。对于初学者还是要费一些功夫的，而一旦上手以后，会发现HTMLParser的结构设计很巧妙，非常实用，基本你的各种需求都可以满足。    这里我根据自己这几个月来的经验，写了一点入门的东西，希望能对新学习HTMLParser的朋友们有所帮助。（不过当年高考本人语文只比及格高一分，所以文法方面的问题还希望
HtmlParser使用教程详解
morningsun1990的专栏
05-08 1305
HTMLParser具有小巧，快速的优点，缺点是相关文档比较少（英文的也少），很多功能需要自己摸索。对于初学者还是要费一些功夫的，而一旦上手以后，会发现HTMLParser的结构设计很巧妙，非常实用，基本你的各种需求都可以满足。     这里我根据自己这几个月来的经验，写了一点入门的东西，希望能对新学习HTMLParser的朋友们有所帮助。（不过当年高考本人语文只比及格高一分，所以文法方面的问题
java htmlparser 使用教程_htmlParser使用教程
weixin_39575410的博客
02-13 125
import java.io.BufferedReader;import java.io.File;import java.io.FileInputStream;import java.io.InputStreamReader;import org.htmlparser.Node;import org.htmlparser.NodeFilter;import org.htmlparser.Pars...
htmlparser使用指南
u010029983的专栏
05-14 520
需要做一个垂直搜索引擎，比较了nekohtml和htmlparser 的功能，尽管nekohtml在容错性、性能等方面的口碑好像比htmlparser好（htmlunit也用的是nekohtml），但感觉 nekohtml的测试用例和文档都比htmlparser都少，而且htmlparser基本上能够满足垂直搜索引擎页面处理分析的需求，因此先研究一 下htmlparser的使用，有空再研究neko
htmlparser
粉末无颜的专栏
03-08 907
HTMLParser的核心模块是org.htmlparser.Parser类，这个类实际完成了对于HTML页面的分析工作。这个类有下面几个构造函数：     public Parser ();     public Parser (Lexer lexer, ParserFeedback fb);    public Parser (URLConnection connection, Pars
C# HTMLParser下载.rar
04-12
例如，我们可以使用解析器的`ParseDocument`方法解析HTML源代码，然后通过这个文档对象来访问DOM（文档对象模型）的各个部分，如元素、属性和文本节点。 在处理HTML时，我们常常需要查找特定的标签或者内容。...
Winista.HtmlParser.zip
07-15
然后，你可以进一步访问每个元素的属性，如`href`，以获取链接地址。此外，Winista.HtmlParser还支持对元素进行添加、删除和修改操作，使得动态生成和更新HTML内容变得简单易行。 在Unity中，这款插件特别适用于...
htmlparser2.1.jar
06-04
1. **DOM解析**：HTMLParser2.1支持DOM（Document Object Model）解析方式，将HTML文档转换为树形结构，允许开发者通过节点遍历的方式访问网页元素。这种方法易于理解和操作，但可能对内存消耗较高。 2. **事件驱动...
汉字转拼音
记录点滴.......
03-14 9408
[code="java"] package com.yz.util; import java.util.HashMap; import java.util.Map; /** * 汉字转拼音 */ public class WordToSpell { private static StringBuffer ZD = null; // 字典 private stati...
在WebSphere中获取配置文件信息
记录点滴.......
07-26 826
在WebSphere环境中，因为工程是打成war包传上去的，和tomcat不同，无法获取配置文件路径，路径不对当然获取不到配置文件信息。下面是一种变通的方法： [code="java"] //注：将配置文件和类放在同一目录下 public ArrayList getLogProperties(){ try { Properties prop=new Propertie...
RTFTemplate的初步使用
记录点滴.......
09-02 634
一、模版制作 1 设计 *.fields.xml文件，在此文件中定义好你要填充的参数。 [code="java"] false $title false $serialNumber [/code] 2 RTFTemplate.dot 设计rtf模版文档。注意，最好将rtf模版文档、RTFTemplate.dot设计器、...
润乾报表-动态查询
记录点滴.......
03-01 449
润乾报表提供宏工作机制，因此利用宏可以可以动态组织sql语句，得到实时报表了。 [code="java"] -1) macBuffer.append(" and a.status = '"+status+"' "); } if(req...
HTMLParser解析实战与应用解析
"htmlparser使用指南 - 通过htmlparser爬取网页内容，实现HTML节点分析" 在构建垂直搜索引擎的过程中，选择合适的HTML解析库至关重要。这里我们关注的是`htmlparser`，一个用于解析HTML的Java库。虽然`nekohtml`在...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值