实现MHT文件格式的解析和内容抽取

最新推荐文章于 2021-02-12 14:54:21 发布

chesman

最新推荐文章于 2021-02-12 14:54:21 发布

阅读量2.1k

点赞数

分类专栏：探索&发现文章标签： lucene HTML

面对业务中大量MHT格式资料的索引需求，本文档介绍了如何实现MHT文件的内容提取及与lucene的整合，目前完成了HTML内容的解码和提取，后续计划完善编码检测和其他内容的解析工作，打造一个全面的parser。

摘要由CSDN通过智能技术生成

由于我们的业务系统中有大量的MHT格式的资料，需要对其建立索引，搜索很久了一直没有找到相关解析的类库，只好自己动手丰衣足食了。已实现内容的提取以及和lucene的整合，稍后会完善编码检测及其他内容的提取，做一个完整的parser出来。

文本内容提取： 首先提取html部分的内容，解码之后使用nekoHtml提取文本内容；

public class MhtDocHandler extends HtmDocHandler {

    private DOMFragmentParser parser = new DOMFragmentParser();

    public Document getDocument(InputStream is) throws DocumentHandlerException {

        DocumentFragment node = new HTMLDocumentImpl().createDocumentFragment();
        try {

            String mhts = IOUtils.toString(is);
            int a1 = mhts.indexOf("<HTML");
            int a2 = mhts.indexOf("</HTML>");

            String html = mhts.substring(a1, a2 + 8);

            //在mht中文本按照QuotedPrintable格式编码
        html = decodeQuotedPrintable(html, "UTF-8");

            StringReader r = new St