解析Html页面:HTML Parser的试用

最新推荐文章于 2023-02-27 08:05:45 发布
最新推荐文章于 2023-02-27 08:05:45 发布
阅读量1.2w 收藏 9
点赞数
分类专栏： 我的JAVA 文章标签： html string import exception lucene 全文检索
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/scud/article/details/451397
版权

作者:scud(飞云小侠)  http://www.jscud.com  转载请注明作者来源.否则请勿转载,谢谢.

最近在研究lucene的全文检索,在很多地方需要解析或者说分析Html内容或者Html页面,Lucene本身的演示程序中也提供了一个Html Parser,但是不是纯Java的解决方案.于是到处搜索,在网上找到了一个"HTMLParser".

网址是: http://htmlparser.sourceforge.net ,当前版本为1.5.

下载下来,试用一番,感觉不错,完全能满足lucene解析Html的需求.

过几天贴出lucene进行全文检索的代码.(检索本站的文章等).

试用代码如下,供大家参考:

package com.jscud.test;

import java.io.BufferedReader;
import java.io.File;
import java.io.FileInputStream;
import java.io.InputStreamReader;

import org.htmlparser.Node;
import org.htmlparser.NodeFilter;
import org.htmlparser.Parser;
import org.htmlparser.filters.NodeClassFilter;
import org.htmlparser.filters.OrFilter;
import org.htmlparser.nodes.TextNode;
import org.htmlparser.tags.LinkTag;
import org.htmlparser.util.NodeList;
import org.htmlparser.util.ParserException;
import org.htmlparser.visitors.HtmlPage;
import org.htmlparser.visitors.TextExtractingVisitor;

import com.jscud.util.LogMan; //一个日志记录类

/**
 * 演示了Html Parse的应用.
 *
 * @author scud http://www.jscud.com
 */

public class ParseHtmlTest
{

    public static void main(String[] args) throws Exception
    {
        String aFile = "e:/jscud/temp/test.htm";

        String content = readTextFile(aFile, "GBK");

        test1(content);
        System.out.println("====================================");

        test2(content);
        System.out.println("====================================");

        test3(content);
        System.out.println("====================================");

        test4(content);
        System.out.println("====================================");

        test5(aFile);
        System.out.println("====================================");

        //访问外部资源,相对慢
        test5("http://www.jscud.com");
        System.out.println("====================================");

    }

    /**
     * 读取文件的方式来分析内容.
     * filePath也可以是一个Url.
     *
     * @param resource 文件/Url
     */
    public static void test5(String resource) throws Exception
    {
        Parser myParser = new Parser(resource);

        //设置编码
        myParser.setEncoding("GBK");

        HtmlPage visitor = new HtmlPage(myParser);

        myParser.visitAllNodesWith(visitor);

        String textInPage = visitor.getTitle();

        System.out.println(textInPage);
    }

    /**
     * 按页面方式处理.对一个标准的Html页面,推荐使用此种方式.
     */
    public static void test4(String content) throws Exception
    {
        Parser myParser;
        myParser = Parser.createParser(content, "GBK");

        HtmlPage visitor = new HtmlPage(myParser);

        myParser.visitAllNodesWith(visitor);

        String textInPage = visitor.getTitle();

        System.out.println(textInPage);
    }

    /**
     * 利用Visitor模式解析html页面.
     *
     * 小优点:翻译了<>等符号
     * 缺点:好多空格,无法提取link
     *  
     */
    public static void test3(String content) throws Exception
    {
        Parser myParser;
        myParser = Parser.createParser(content, "GBK");

        TextExtractingVisitor visitor = new TextExtractingVisitor();

        myParser.visitAllNodesWith(visitor);

        String textInPage = visitor.getExtractedText();

        System.out.println(textInPage);
    }

    /**
     * 得到普通文本和链接的内容.
     *
     * 使用了过滤条件.
     */
    public static void test2(String content) throws ParserException
    {
        Parser myParser;
        NodeList nodeList = null;

        myParser = Parser.createParser(content, "GBK");

        NodeFilter textFilter = new NodeClassFilter(TextNode.class);
        NodeFilter linkFilter = new NodeClassFilter(LinkTag.class);

        //暂时不处理 meta
        //NodeFilter metaFilter = new NodeClassFilter(MetaTag.class);

        OrFilter lastFilter = new OrFilter();
        lastFilter.setPredicates(new NodeFilter[] { textFilter, linkFilter });

        nodeList = myParser.parse(lastFilter);

        Node[] nodes = nodeList.toNodeArray();

        for (int i = 0; i < nodes.length; i++)
        {
            Node anode = (Node) nodes[i];

            String line = "";
            if (anode instanceof TextNode)
            {
                TextNode textnode = (TextNode) anode;
                //line = textnode.toPlainTextString().trim();
                line = textnode.getText();
            }
            else if (anode instanceof LinkTag)
            {
                LinkTag linknode = (LinkTag) anode;

                line = linknode.getLink();
                //@todo 过滤jsp标签:可以自己实现这个函数
                //line = StringFunc.replace(line, "<%.*%>", "");
            }

            if (isTrimEmpty(line))
                continue;

            System.out.println(line);
        }
    }

    /**
     * 解析普通文本节点.
     *
     * @param content
     * @throws ParserException
     */
    public static void test1(String content) throws ParserException
    {
        Parser myParser;
        Node[] nodes = null;

        myParser = Parser.createParser(content, null);

        nodes = myParser.extractAllNodesThatAre(TextNode.class); //exception could be thrown here

        for (int i = 0; i < nodes.length; i++)
        {
            TextNode textnode = (TextNode) nodes[i];
            String line = textnode.toPlainTextString().trim();
            if (line.equals(""))
                continue;
            System.out.println(line);
        }

    }

    /**
     * 读取一个文件到字符串里.
     *
     * @param sFileName  文件名
     * @param sEncode   String
     * @return 文件内容
     */
    public static String readTextFile(String sFileName, String sEncode)
    {
        StringBuffer sbStr = new StringBuffer();

        try
        {
            File ff = new File(sFileName);
            InputStreamReader read = new InputStreamReader(new FileInputStream(ff),
                    sEncode);
            BufferedReader ins = new BufferedReader(read);

            String dataLine = "";
            while (null != (dataLine = ins.readLine()))
            {
                sbStr.append(dataLine);
                sbStr.append("/r/n");
            }

            ins.close();
        }
        catch (Exception e)
        {
            LogMan.error("read Text File Error", e);
        }

        return sbStr.toString();
    }

    /**
     * 去掉左右空格后字符串是否为空
     * @param astr String
     * @return boolean
     */
    public static boolean isTrimEmpty(String astr)
    {
        if ((null == astr) || (astr.length() == 0))
        {
            return true;
        }
        if (isBlank(astr.trim()))
        {
            return true;
        }
        return false;
    }

    /**
     * 字符串是否为空:null或者长度为0.
     * @param astr 源字符串.
     * @return boolean
     */
    public static boolean isBlank(String astr)
    {
        if ((null == astr) || (astr.length() == 0))
        {
            return true;
        }
        else
        {
            return false;
        }
    }

}

 


 

scud
关注
专栏目录
使用 Astra DB、LangChain 和 Vercel 构建维基百科聊天机器人
gongdiwudu的专栏
02-04 2111
你有多少次问谷歌一个问题，只是为了得到一个维基百科的链接，需要你点击、加载网站并滚动才能找到答案？那么自动问题搜索又是如何呢？
各大官网 排名不分先后 持续更新
计算机学习园
04-11 1万+
http://www.xuanyusong.com/archives/950 http://blog.csdn.net/boyjimeking/article/details/6707743 http://www.cnblogs.com/liutianwen/archive/2012/04/18/cocos2d-xD.html http://www.cocoachina.com/
html 解析器（网页源代码分析）
06-19
html解析器，进行网页源代码分析，分门别类的列出脚本文件、超链接等，能有效帮助防止恶意代码
解析HTML页面
qq_25447799的博客
11-09 567
通过解析HTML页面来获取页面的资源： 1、使用正则表达式来获取到我们需要的标签以及标签里的内容，存入到一个容器里，此处我选择的是使用list集合。 2、遍历list集合【我选择的是使用迭代器遍历【注意的是使用迭代器时，一对{}里只能出现一次next()方法，否则会报错，显示找不到这个类的异常，这是因为两个next(),Java程序不知道要去找哪一个next。】】用一个String字符串来存放，接着再对其进行切割，得到我们要创建的目录的文件名。 3、下载资源 import java.io.BufferedR
分析/解析Html页面:HTML Parser的试用
junjie314的专栏
05-27 284
转载自: http://www.jscud.com/srun/news/viewhtml/2_2005_8/71.htm   最近在研究lucene的全文检索,在很多地方需要解析或者说分析Html内容或者Html页面,Lucene本身的演示程序中也提供了一个Html Parser,但是不是纯Java的解决方案.于是到处搜索,在网上找到了一个"HTMLParser". 网址是: http://htm...
Jsoup解析HTML页面数据(又扒到1万+的数据)
热门推荐
云淡风轻的博客
06-22 1万+
昨天想用Jsoup抓取一个页面中的歇后语，没想到竟然遇到了这么一个奇葩问题，解析多条相同的数据的时候只解析到1条数据 比如解析如下内容 坐轿里骂人 不识抬举 坐轿打瞌睡 不识抬举 我解析td标签中的文本应该得到4条数据，但是得到的却只有 “坐轿里骂人 不识抬举 坐轿打瞌睡“ 少了一个“不识抬举”，在网上搜了搜，没搜到相关的解决方案，后来用别人写的一个在线的例子，竟然出奇的抓到
python - BeautifulSoup解析html页面
衣衫破旧 歌声温柔
05-16 516
。
Marked高效的Markdown解析器
fens的博客
02-28 2227
从零开始nodejs系列文章，将介绍如何利Javascript做为服务端脚本，通过Nodejs框架web开发。Nodejs框架是基于V8的引擎，是目前速度最快的Javascript引擎。chrome浏览器就基于V8，同时打开20-30个网页都很流畅。Nodejs标准的web开发框架Express，可以帮助我们迅速建立web站点，比起PHP的...
python爬取微博评论（通过xpath解析的方式）
kr2563的博客
04-12 5313
前段时间笔者写了一份儿爬取微博评论的代码，是用了http://m.weibo.cn的接口，通过这个接口比较好的是代码比较好写，因为数据都是json格式的，规律性非常直观，属性json数据和字典操作的朋友都可以很快掌握，但是这个有个比较大的问题是基本限制了前一百页的内容爬取，而且cookie过期的比较快，所以现在提供一种新的方式是通过xpath方式解析http://www.weibo.cn这个入口。...
14W 行代码量的前端页面长什么样
腾讯技术工程
12-09 1万+
作者：sigmaliu，腾讯文档 AlloyTeam 开发工程师0. 前言腾讯文档列表页在不久前经历了一次完全重构后，首屏速度其实已经是不错。但是我们仍然可以引入 SSR 来进一步加快速...
在JS中解析HTML字符串示例代码
12-11
在js中直接添加html语句，js会将html字符串解析成相应的HTML语句，并在前端进行显示。 代码如下: var el = document.createElement( ‘div’ ); el[removed] = “<html><head><title>titleTest</title></head><body>test01test02test03</body></html>”; el.getElemen
HTML页面结构分析
weixin_47556601的博客
01-23 502
大家好，给大家分享一下HTML页面结构分析 就是网页的结构和分布 <!DOCTYPE html> <html lang="en"> <head> <meta charset="UTF-8"> <title>页面结构分析</title> </head> <body> <!--header:表示头部区域的内容（用于页面,或页面中的一块区域。 footer:标记脚步区域的内容，用于整个页面或者页面
HTML页面解析
hgfyyhg的博客
08-04 762
HTML页面解析
HTML中的页面结构分析
weixin_59285003的博客
03-18 199
HTML中的页面结构分析 元素名（标签名） 描述 header 标题头部区域的内容（用于页面或页面中的一块区域） footer 标记脚部区域的内容（用于整个页面或页面的一块区域） article 独立的文章内容 section Wed页面中的一块独立区域 aside 相关内容或应用（常用于侧边栏） nav 导航类辅助内容 ...
HTML DOM的一些基础知识
地狱城市的专栏
11-25 1219
 HTML DOM 定义了访问和操作HTML文档的标准方法。HTML DOM 把HTML文档呈现为带有元素、属性和文本的树结构（节点树）。 HTML DOM简介HTML文档对象模型（HTML Document Object Model）定义了访问和处理HTML文档的标准方法。您应当具备的基础知识在继续学习之前，您需要对下面的知识有基本的了解： HTML
JS 解析html字符串(xmldom, jsdom)
forward_huan的博客
07-09 2890
使用第三方库解析html字符窜 xmldom 安装 npm install xmldom --save 代码示例 let DOMParser = require("xmldom").DOMParser; function parseHtml() { var html = `<!DOCTYPE html> <html lang="en"> <head> <meta charset="UTF-8"
在JS中解析HTML字符串
04-16 4515
在js中直接添加html语句，js会将html字符串解析成相应的HTML语句，并在前端进行显示。 var el = document.createElement( 'div' ); el.innerHTML = "titleTesttest01test02test03"; el.getElementsByTagName( 'a' ); // Live NodeList of your ancho
JS 实现一个 HTML 解析器
最新发布
frontend_frank的博客
02-27 1011
浏览器底层有一块非常重要的事情就是 HTML 解析器，HTML 解析器的工作是把 HTML 字符串解析为树，树上的每个节点是一个 Node，很多同学都好奇是怎么实现的，这篇文章就用 JS 来实现一个简单的 HTML 解析器。下面的代码改造自 node-html-parser原理讲解1、效果我们需要实现一个 parse 方法，并且传入 HTML 字符串，返回一个树结构：constroot=pa...
深入解析MySQL Binlog：mysql-parser解析器的使用与原理
资源摘要信息: "mysql-parser是一个用Java编写的MySQL二进制日志(binlog)解析器。它的工作流程是从mysql-tracker中获取MySQL的binlog数据流，然后通过Google的协议缓冲区(protobuf)来解析这些二进制日志文件，并将...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值