Tika通用的内容分析工具

       上一篇博客说讲到使用SVNKit来操作svn上的数据，其中在实例DisplayFile中，从svn上获得了文本文件，并打印了文件的内容，我们解析文本文件的方式是直接是有流的方式读取，但是不是所有的文件都能使用流的方式读取的，比如office系列的文件通常使用POI来读取，PDF格式的文件可以使用Pdfbox来读取，但是要知道文件的格式还有好多种，比如，xml，图片，音频，zip，java类等等，而且这些都一个项目中最常用的文件类型，那我们如何读取这些文件呢？我们学会了使用POI还要学会使用Pdfbox等一些列的文件解析工具吗？答案一定是否定的，因为我们有了Tika。

 

什么是Tika?

 

Tika是一个内容抽取的工具集合(atoolkitfor text extracting)。它集成了POI, Pdfbox 并且为文本抽取工作提供了一个统一的界面。其次，Tika也提供了便利的扩展API，用来丰富其对第三方文件格式的支持。

 

在当前的0.2-SNAPSHOT版本中， Tika提供了对如下文件格式的支持:

 

• PDF -通过Pdfbox
• MS-* -通过POI
• HTML -使用nekohtml将不规范的html整理成为xhtml
• OpenOffice格式 - Tika提供
• Archive - zip, tar, gzip, bzip等
• RTF - Tika提供
• Java class - Class解析由ASM完成
• Image -只支持图像的元数据抽取
• XML
• Tika的API十分便捷，核心是Parser interface，其中定义了一个parse方法：

public voidparse(InputStream stream, ContentHandlerhandler, Metadata metadata)

 

用stream参数传递需要解析的文件流，文本内容会被传入handler，而元数据会更新至metadata。

 

可以使用Tika的ParserUtils工具来根据文件的mime-type来得到一个适当的Parser来进行解析工作。或者Tika还提供了一个AutoDetectParser根据不同的二进制文件的特殊格式 (比如说Magic Code)，来寻找适合的Parser。

提示：主要tika-xx.jar,解析相应的文件必须有相应的jar.例如：excel文件必须用到poi-xx.jar

importorg.apache.tika.metadata.Metadata;   
importorg.apache.tika.parser.AutoDetectParser;   
importorg.apache.tika.parser.ParseContext;   
importorg.apache.tika.parser.Parser;   
importorg.apache.tika.sax.BodyContentHandler;   
importorg.xml.sax.ContentHandler;   
import java.io.*;   
   
public class TiKaUtil{   
   
    public static String parseFile(Filefile){   
        Parser parser = newAutoDetectParser();   
        InputStream input = null;   
        try{   
            Metadata metadata = newMetadata();   
           metadata.set(Metadata.CONTENT_ENCODING, "utf-8");   
           metadata.set(Metadata.RESOURCE_NAME_KEY, file.getName());   
            input = newFileInputStream(file);   
            ContentHandler handler = newBodyContentHandler();//当文件大于100000时，newBodyContentHandler(1024*1024*10);    
            ParseContext context = newParseContext();   
           context.set(Parser.class,parser);   
            parser.parse(input,handler,metadata,context);   
            for(String name:metadata.names()){   
               System.out.println(name+":"+metadata.get(name));   
            }   
           System.out.println(handler.toString());   
            return handler.toString();   
        }catch (Exception e){   
            e.printStackTrace();   
        }finally {   
            try {   
               if(input!=null)input.close();   
            } catch (IOException e) {   
                e.printStackTrace();   
            }   
        }   
        return null;   
   
    }   
   
    public static void main(Stringargt0[])throws Exception{   
        parseFile(new File("D:\\svntest\\svnkittest\\branches\\doImport.txt"));   
    }   

总结:

通过SVNKit+Tika+lucene你是否可以想象其实这就是一个confluence。其实这是一个很有意思的事。