HtmlParser 简单测试实例

最新推荐文章于 2024-07-24 17:27:32 发布
最新推荐文章于 2024-07-24 17:27:32 发布
阅读量111 收藏
点赞数
文章标签： java
原文链接：http://www.cnblogs.com/answeryi/archive/2009/11/02/1594598.html
版权
package  test;

 import  java.net.URL;  
 import  org.htmlparser. * ;
 import  org.htmlparser.beans.LinkBean;
 import  org.htmlparser.filters.NodeClassFilter;
 import  org.htmlparser.filters.OrFilter;
 import  org.htmlparser.filters.TagNameFilter;
 import  org.htmlparser.tags. * ;
 import  org.htmlparser.util.NodeIterator;
 import  org.htmlparser.util.NodeList;
 import  org.htmlparser.util.ParserException;
 import  org.htmlparser.visitors.HtmlPage;
 import  org.htmlparser.visitors.NodeVisitor;
 import  org.htmlparser.visitors.ObjectFindingVisitor; 

ExpandedBlockStart.gifContractedBlock.gif public   class  ParserTestCase  { 
    
ExpandedSubBlockStart.gifContractedSubBlock.gif     public static void main(String[]args){
         ParserTestCase testCase = new ParserTestCase("MyTest");
         testCase.testTable(); // 替换成需要测试的方法
     }
    
ExpandedSubBlockStart.gifContractedSubBlock.gif    public ParserTestCase(String name) { 
    }
ExpandedSubBlockStart.gifContractedSubBlock.gif    /**//*
     * 测试ObjectFindVisitor的用法
     */
ExpandedSubBlockStart.gifContractedSubBlock.gif    public void testImageVisitor() {
ExpandedSubBlockStart.gifContractedSubBlock.gif        try {
            ImageTag imgLink;
            ObjectFindingVisitor visitor = new ObjectFindingVisitor(
                    ImageTag.class);
            Parser parser = new Parser();
            parser.setURL("http://www.google.com");
            parser.setEncoding(parser.getEncoding());
            parser.visitAllNodesWith(visitor);
            Node[] nodes = visitor.getTags();
ExpandedSubBlockStart.gifContractedSubBlock.gif            for (int i = 0; i < nodes.length; i++) {
                imgLink = (ImageTag) nodes[i];
               System.out.println("testImageVisitor() ImageURL = "
                        + imgLink.getImageURL());
               System.out.println("testImageVisitor() ImageLocation = "
                        + imgLink.extractImageLocn());
               System.out.println("testImageVisitor() SRC = "
                        + imgLink.getAttribute("SRC"));
            }
        }
ExpandedSubBlockStart.gifContractedSubBlock.gif        catch (Exception e) {
            e.printStackTrace();
        }
    }
ExpandedSubBlockStart.gifContractedSubBlock.gif    /**//*
     * 测试TagNameFilter用法
     */
ExpandedSubBlockStart.gifContractedSubBlock.gif    public void testNodeFilter() {
ExpandedSubBlockStart.gifContractedSubBlock.gif        try {
            NodeFilter filter = new TagNameFilter("IMG");
            Parser parser = new Parser();
            parser.setURL("http://www.google.com");
            parser.setEncoding(parser.getEncoding());
            NodeList list = parser.extractAllNodesThatMatch(filter);
ExpandedSubBlockStart.gifContractedSubBlock.gif            for (int i = 0; i < list.size(); i++) {
               System.out.println("testNodeFilter()" + list.elementAt(i).toHtml());
            }
ExpandedSubBlockStart.gifContractedSubBlock.gif        } catch (Exception e) {
            e.printStackTrace();
        } 
    }
ExpandedSubBlockStart.gifContractedSubBlock.gif    /**//*
     * 测试NodeClassFilter用法
     */
ExpandedSubBlockStart.gifContractedSubBlock.gif    public void testLinkTag() {
ExpandedSubBlockStart.gifContractedSubBlock.gif        try { 
            NodeFilter filter = new NodeClassFilter(LinkTag.class);
            Parser parser = new Parser();
            parser.setURL("http://www.google.com");
            parser.setEncoding(parser.getEncoding());
            NodeList list = parser.extractAllNodesThatMatch(filter);
ExpandedSubBlockStart.gifContractedSubBlock.gif            for (int i = 0; i < list.size(); i++) {
                LinkTag node = (LinkTag) list.elementAt(i);
               System.out.println("testLinkTag() Link is :" + node.extractLink());
            }
ExpandedSubBlockStart.gifContractedSubBlock.gif        } catch (Exception e) {
            e.printStackTrace();
        } 
    }
ExpandedSubBlockStart.gifContractedSubBlock.gif    /**//*
     * 测试<link href=” text=’text/css’ rel=’stylesheet’ />用法
     */
ExpandedSubBlockStart.gifContractedSubBlock.gif    public void testLinkCSS() {
ExpandedSubBlockStart.gifContractedSubBlock.gif        try { 
            Parser parser = new Parser();
            parser.setInputHTML("<head><title>Link Test</title>"
                            + "<link href=’/test01/css.css’ text=’text/css’ rel=’stylesheet’ />"
                            + "<link href=’/test02/css.css’ text=’text/css’ rel=’stylesheet’ />"
                            + "</head>" + "<body>");
            parser.setEncoding(parser.getEncoding()); 
ExpandedSubBlockStart.gifContractedSubBlock.gif            for (NodeIterator e = parser.elements(); e.hasMoreNodes();) {
                Node node = e.nextNode();
               System.out.println("testLinkCSS()" + node.getText()
                                + node.getClass()); 
            }
ExpandedSubBlockStart.gifContractedSubBlock.gif        } catch (Exception e) {
            e.printStackTrace();
        }
    }
ExpandedSubBlockStart.gifContractedSubBlock.gif    /**//*
     * 测试OrFilter的用法
     */
ExpandedSubBlockStart.gifContractedSubBlock.gif    public void testOrFilter() {
        NodeFilter inputFilter = new NodeClassFilter(InputTag.class);
        NodeFilter selectFilter = new NodeClassFilter(SelectTag.class); 
        NodeList nodeList = null; 
ExpandedSubBlockStart.gifContractedSubBlock.gif        try {
            Parser parser = new Parser();
            parser .setInputHTML("<head><title>OrFilter Test</title>"
                            + "<link href=’/test01/css.css’ text=’text/css’ rel=’stylesheet’ />"
                            + "<link href=’/test02/css.css’ text=’text/css’ rel=’stylesheet’ />"
                            + "</head>"
                            + "<body>"
                            + "<input type=’text’ value=’text1′ name=’text1′/>"
                            + "<input type=’text’ value=’text2′ name=’text2′/>"
                            + "<select><option id=’1′>1</option><option id=’2′>2</option><option id=’3′></option></select>"
                            + "<a href=’http://www.yeeach.com’>yeeach.com</a>"
                            + "</body>"); 
            parser.setEncoding(parser.getEncoding());
            OrFilter lastFilter = new OrFilter();
ExpandedSubBlockStart.gifContractedSubBlock.gif            lastFilter.setPredicates(new NodeFilter[] { selectFilter,
                    inputFilter });
            nodeList = parser.parse(lastFilter);
ExpandedSubBlockStart.gifContractedSubBlock.gif            for (int i = 0; i <= nodeList.size(); i++) {
ExpandedSubBlockStart.gifContractedSubBlock.gif                if (nodeList.elementAt(i) instanceof InputTag) {
                    InputTag tag = (InputTag) nodeList.elementAt(i);
                   System.out.println("OrFilter tag name is :" + tag.getTagName()
                            +" ,tag value is:" + tag.getAttribute("value"));
                }
ExpandedSubBlockStart.gifContractedSubBlock.gif                if (nodeList.elementAt(i) instanceof SelectTag) {
                    SelectTag tag = (SelectTag) nodeList.elementAt(i);
                    NodeList list = tag.getChildren(); 
ExpandedSubBlockStart.gifContractedSubBlock.gif                    for (int j = 0; j < list.size(); j++) {
                        OptionTag option = (OptionTag) list.elementAt(j);
                       System.out.println("OrFilter Option"
                                        + option.getOptionText());
                    } 
                }
            } 
ExpandedSubBlockStart.gifContractedSubBlock.gif        } catch (ParserException e) {
            e.printStackTrace();
        }
    }
ExpandedSubBlockStart.gifContractedSubBlock.gif    /**//*
     * 测试对<table><tr><td></td></tr></table>的解析
     */
ExpandedSubBlockStart.gifContractedSubBlock.gif    public void testTable() {
        Parser myParser;
        NodeList nodeList = null;
        myParser = Parser.createParser("<body>" + "<table id=’table1′ >"
                + "<tr><td>1-11</td><td>1-12</td><td>1-13</td>"
                + "<tr><td>1-21</td><td>1-22</td><td>1-23</td>"
                + "<tr><td>1-31</td><td>1-32</td><td>1-33</td></table>"
                + "<table id=’table2′ >"
                + "<tr><td>2-11</td><td>2-12</td><td>2-13</td>"
                + "<tr><td>2-21</td><td>2-22</td><td>2-23</td>"
                + "<tr><td>2-31</td><td>2-32</td><td>2-33</td></table>"
                + "</body>", "GBK");
        NodeFilter tableFilter = new NodeClassFilter(TableTag.class);
        OrFilter lastFilter = new OrFilter();
ExpandedSubBlockStart.gifContractedSubBlock.gif        lastFilter.setPredicates(new NodeFilter[] { tableFilter });
ExpandedSubBlockStart.gifContractedSubBlock.gif        try {
            nodeList = myParser.parse(lastFilter);
ExpandedSubBlockStart.gifContractedSubBlock.gif            for (int i = 0; i <= nodeList.size(); i++) {
ExpandedSubBlockStart.gifContractedSubBlock.gif                if (nodeList.elementAt(i) instanceof TableTag) {
                    TableTag tag = (TableTag) nodeList.elementAt(i);
                    TableRow[] rows = tag.getRows(); 
ExpandedSubBlockStart.gifContractedSubBlock.gif                    for (int j = 0; j < rows.length; j++) {
                        TableRow tr = (TableRow) rows[j]; 
                        TableColumn[] td = tr.getColumns();
ExpandedSubBlockStart.gifContractedSubBlock.gif                        for (int k = 0; k < td.length; k++) {
                            System.out.println("<td>" + td[k].toPlainTextString());
                        } 
                    } 
//                    System.out.println(nodeList.elementAt(i)+ " "+ i);
                }
            } 
ExpandedSubBlockStart.gifContractedSubBlock.gif        } catch (ParserException e) {
            e.printStackTrace();
        }
    }
ExpandedSubBlockStart.gifContractedSubBlock.gif    /**//*
     * 测试NodeVisitor的用法，遍历所有节点
     */
ExpandedSubBlockStart.gifContractedSubBlock.gif    public void testVisitorAll() {
ExpandedSubBlockStart.gifContractedSubBlock.gif        try {
            Parser parser = new Parser();
            parser.setURL("http://www.google.com");
            parser.setEncoding(parser.getEncoding());
ExpandedSubBlockStart.gifContractedSubBlock.gif            NodeVisitor visitor = new NodeVisitor() {
ExpandedSubBlockStart.gifContractedSubBlock.gif                public void visitTag(Tag tag) {
                   System.out.println("testVisitorAll()  Tag name is :"
                            + tag.getTagName() + " \n Class is :"
                            + tag.getClass());
                } 
            }; 
            parser.visitAllNodesWith(visitor);
ExpandedSubBlockStart.gifContractedSubBlock.gif        } catch (ParserException e) {
            e.printStackTrace();
        }
    }
ExpandedSubBlockStart.gifContractedSubBlock.gif    /**//*
     * 测试对指定Tag的NodeVisitor的用法
     */
ExpandedSubBlockStart.gifContractedSubBlock.gif    public void testTagVisitor() {
ExpandedSubBlockStart.gifContractedSubBlock.gif        try { 
            Parser parser = new Parser(
                    "<head><title>dddd</title>"
                            + "<link href=’/test01/css.css’ text=’text/css’ rel=’stylesheet’ />"
                            + "<link href=’/test02/css.css’ text=’text/css’ rel=’stylesheet’ />"
                            + "</head>" + "<body>"
                            + "<a href=’http://www.yeeach.com’>yeeach.com</a>"
                            + "</body>");
ExpandedSubBlockStart.gifContractedSubBlock.gif            NodeVisitor visitor = new NodeVisitor() {
ExpandedSubBlockStart.gifContractedSubBlock.gif                public void visitTag(Tag tag) {
ExpandedSubBlockStart.gifContractedSubBlock.gif                    if (tag instanceof HeadTag) {
                       System.out.println("visitTag() HeadTag : Tag name is :"
                                + tag.getTagName() + " \n Class is :"
                                + tag.getClass() + "\n Text is :"
                                + tag.getText());
ExpandedSubBlockStart.gifContractedSubBlock.gif                    } else if (tag instanceof TitleTag) {
                       System.out.println("visitTag() TitleTag : Tag name is :"
                                + tag.getTagName() + " \n Class is :"
                                + tag.getClass() + "\n Text is :"
                                + tag.getText()); 
ExpandedSubBlockStart.gifContractedSubBlock.gif                    } else if (tag instanceof LinkTag) {
                       System.out.println("visitTag() LinkTag : Tag name is :"
                                + tag.getTagName() + " \n Class is :"
                                + tag.getClass() + "\n Text is :"
                                + tag.getText() + " \n getAttribute is :"
                                + tag.getAttribute("href"));
ExpandedSubBlockStart.gifContractedSubBlock.gif                    } else {
                       System.out.println("visitTag() : Tag name is :"
                                + tag.getTagName() + " \n Class is :"
                                + tag.getClass() + "\n Text is :"
                                + tag.getText());
                    } 
                } 
            }; 
            parser.visitAllNodesWith(visitor);
ExpandedSubBlockStart.gifContractedSubBlock.gif        } catch (Exception e) {
            e.printStackTrace();
        }
    }
ExpandedSubBlockStart.gifContractedSubBlock.gif    /**//*
     * 测试HtmlPage的用法
     */
ExpandedSubBlockStart.gifContractedSubBlock.gif    public void testHtmlPage() {
        String inputHTML = "<html>"+ "<head>"
                + "<title>Welcome to the HTMLParser website</title>"
                + "</head> <body> Welcome to HTMLParser"
                + "<table id=’table1′ >"
                + "<tr><td>1-11</td><td>1-12</td><td>1-13</td>"
                + "<tr><td>1-21</td><td>1-22</td><td>1-23</td>"
                + "<tr><td>1-31</td><td>1-32</td><td>1-33</td></table>"
                + "<table id=’table2′ >"
                + "<tr><td>2-11</td><td>2-12</td><td>2-13</td>"
                + "<tr><td>2-21</td><td>2-22</td><td>2-23</td>"
                + "<tr><td>2-31</td><td>2-32</td><td>2-33</td></table>"
                +"<form><table><tr><td>黑</td><tr></table></form><hr><br>"
                + "</body>" + "</html>";
        Parser parser = new Parser();
ExpandedSubBlockStart.gifContractedSubBlock.gif        try {
            parser.setInputHTML(inputHTML);
            parser.setEncoding(parser.getURL());
            HtmlPage page = new HtmlPage(parser);
            parser.visitAllNodesWith(page%

转载于:https://www.cnblogs.com/answeryi/archive/2009/11/02/1594598.html

Mr.Gu
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Python 之 HTMLParser 简单案例
CN-LILU的博客
02-02 776
Python HTML操作（HTMLParser） HTML操作是编程中很重要的一块，下面用Python3.x中的html.parser中的HTMLParser类来进行HTML的解析。 HTMLParser类定义及常用方法 标准库中的定义 class html.parser.HTMLParser(*,convert_charrefs=True) 1.HTMLParser主要用来解析H
Winista.Htmlparser.Net 源码 +Demo
09-24
2. **WebParser**：可能是一个简单的网页抓取器，利用HtmlParser解析网页，提取所需信息，例如新闻标题、链接等。 开发者可以打开`AnalyzeHtml.sln`，编译并运行这两个项目，以了解HtmlParser的具体使用方法和实际...
HtmlParser的开发实例
Snowfish的博客
09-13 391
HTMLparser的使用实例
htmlparser实例
北一
07-12 550
1.import java.net.URL;      2.     3.import junit.framework.TestCase;      4.     5.import org.apache.log4j.Logger;      6.import org.htmlparser.Node;      7.import org.htmlparser.NodeFilter;   
htmlparser使用例子（全） 转载
weixin_33716557的博客
11-18 133
1.import java.net.URL;  2.  3.import junit.framework.TestCase;  4.  5.import org.apache.log4j.Logger;  6.import org.htmlparser.Node;  7.import org.htmlparser.NodeFilter;  8.import org.ht...
网络爬虫——HTMLParser解析HTML
吴声子夜歌的博客
07-19 2443
HTMLParser 也是一款非常高效的 HTML 解析器，其支持 CSS 选择器提取 HTML中的节点。HTMLParser 的版本已不再更新，但并不影响其使用。
htmlparser使用指南
springlys的专栏
12-30 170
 简介       htmlparser是一个纯的java写的html解析的库，它不依赖于其它的java库文件，主要用于改造或提取html，它能超高速解析html。 htmlparser基本功能 　　1． 信息提取 　　      · 文本信息抽取，例如对HTML进行有效信息搜索 　　      · 链接提取，用于自动给页面的链接文本加上链接的标签 　　      · 资源提取，例如对一些图片、声...
HTMLParser解析html详解
a639735331的博客
12-25 758
HTMLParser具有小巧，快速的优点，缺点是相关文档比较少（英文的也少），很多功能需要自己摸索。对于初学者还是要费一些功夫的，而一旦上手以后，会发现HTMLParser的结构设计很巧妙，非常实用，基本你的各种需求都可以满足。    这里我根据自己这几个月来的经验，写了一点入门的东西，希望能对新学习HTMLParser的朋友们有所帮助。（不过当年高考本人语文只比及格高一分，所以文法方面的问题还希望
HtmlParser 2.1 码源
06-07
通过深入理解和熟练使用HtmlParser 2.1，开发者可以高效地处理各种HTML文档，无论是简单的数据提取还是复杂的文档分析，都能得心应手。结合源代码学习，更能深入了解其内部机制，为自定义扩展和优化提供可能。
htmlparser.jar.zip
08-31
网页分析中，HTMLParser有助于理解网页的布局和结构，这对于理解网页内容、实现自动化测试或构建基于内容的搜索引擎优化策略十分有用。例如，可以使用HTMLParser检查网页的元数据，如标题、关键词和描述，这些信息...
HTMLParser.jar
07-25
它不仅适用于简单的网页抓取，还广泛应用于Web爬虫、数据提取、自动化测试等领域。尽管2.0-SNAPSHOT可能不是最终稳定版，但它提供了丰富的功能和持续的更新，对于需要处理HTML的Java开发者而言，是一个值得尝试的...
java htmlparser 类JAR包下载
01-08
2. 创建解析器：实例化HTMLParser对象，可以设置不同的解析策略，如严格解析或宽容解析。 3. 配置处理器：根据需求注册处理器，这些处理器会在解析过程中被调用，例如，每当遇到一个特定的HTML标签时。 4. 开始...
12. Hibernate 模板设计模式
这是一个web全栈开发的博客，取其精华去其糟粕，争取让大家一看就懂，一学就会，一用就成~
07-22 1153
如何运用模板设计模式重构 Hibernate 操作流程；持久化对象与序列化接口；OOP中有一个编码原则 ：写仅写一次。翻译过来就是，不要重复，要重用。答案是：使用模板设计模式进一步封装Hibernate的操作。在真实项目中，Hibernate仅仅只是完成项目中的一部分工作，需要和其它，如Spring等框架联合工作，一起承担整体项目的开发。Spring框架中就提供的有Hibernate模板对象。一个常规的、频繁的操作代码中，大部分代码不需要变动，只有小部分代码需要根据需求变动。
redis+spring面试题
github_36510643的博客
07-21 415
redis+spring面试题
Java-Lambda
lizhiwei21的博客
07-21 453
lambda表达式可以理解为对匿名内部类的一种简化 , 但是本质是有区别的面向对象思想 :强调的是用对象去完成某些功能函数式编程思想 :强调的是结果 , 而不是怎么去做。
Java内存模型
weixin_44267758的博客
07-19 796
此处的变量不是指java编程中的变量，它包括了实例字段，静态字段和构成数值对象的元素，但不包括局部变量和方法参数。JMM规定所有变量都存储在主内存中。每条线程有自己的工作内存，工作内存中保留了该线程使用到变量的主内存的副本。线程对变量的所有操作都必须在工作内存中进行，不能直接读写主内存的变量，不同的线程间也无法直接访问对方工作内存的变量，线程之间的变量值传递需要通过主内存来完成。
Promise 详解（原理篇）
山重水复疑无路，柳暗花明又一村。
07-20 782
Promise 是一种异步编程的解决方案。在异步操作中，callback 会导致回调地狱的问题，Promise 解决了这个问题。一个 Promise对象有以下三种状态:pending：初始状态，既不是成功，也不是失败状态。：意味着操作成功完成。rejected：意味着操作失败。当 new Promise() 被实例化后，即表示 Promise 进入 pending 初始化状态，准备就绪，等待运行。
Java读取文件中多个JSON对象，并且16进制字符串和byte相互转换，将byte转为16进制字符串并写入json文件
最新发布
weixin_43561432的博客
07-24 152
【代码】Java读取文件中多个JSON对象，并且16进制字符串和byte相互转换，将byte转为16进制字符串并写入json文件。
使用HTMLParser抓取网页数据的简单示例
- 创建`BufferedWriter`实例，准备将抓取的数据写入到指定的本地文件（这里是`D:/outPut.txt`）。 - 当读取到文件的每一行时，使用`append()`方法将行内容追加到`StringBuffer`中，最后加上换行符。 - 将`...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值