Apache Tika 实现Pdf、docx、xml等文件内容提取

什么是Apache Tika？

• Apache Tika是一个用于从各种文件格式中检索文档类型和内容的库。
• 在内部，Tika使用现有的各种文档解析器和文档类型检测技术来检测和提取数据。
• 使用Tika，可以开发通用类型检测器和内容提取器，以在一定程度上提取结构化文本以及来自不同类型文档的元数据，例如电子表格，文本文档，图像，PDF甚至多媒体输入格式。
• Tika提供了一个通用的API来解析不同的文件格式。 它为每种文档类型使用现有的专用解析器库。

支持得格式

文件格式	包库	蒂卡班
XML	org.apache.tika.parser.xml	XMLParser
HTML	org.apache.tika.parser.html它使用了Tagsoup Library	HtmlParser
MS-Office复合文档Ole2到2007年ooxml 2007年起	org.apache.tika.parser.microsoft org.apache.tika.parser.microsoft.ooxml，它使用Apache Poi库	OfficeParser（OLE2） OOXMLParser（ooxml）
OpenDocument格式openoffice	org.apache.tika.parser.odf	OpenOfficeParser
便携式文件格式（PDF）	org.apache.tika.parser.pdf和这个包使用Apache PdfBox库	PDFParser
电子出版物格式（数字图书）	org.apache.tika.parser.epub	EpubParser
富文本格式	org.apache.tika.parser.rtf	RTFParser
压缩和包装格式	org.apache.tika.parser.pkg和这个包使用Common压缩库	PackageParser和CompressorParser及其子类
文字格式	org.apache.tika.parser.txt	TXTParser
Feed和联合格式	org.apache.tika.parser.feed	FeedParser
音频格式	org.apache.tika.parser.audio和org.apache.tika.parser.mp3	AudioParser MidiParser Mp3-适用于mp3parser
Imageparsers	org.apache.tika.parser.jpeg	JpegParser-用于jpeg图像
Videoformats	org.apache.tika.parser.mp4和org.apache.tika.parser.video这个解析器在内部使用简单算法来解析flash视频格式	Mp4parser FlvParser
java类文件和jar文件	org.apache.tika.parser.asm	ClassParser CompressorParser
Mobxformat（电子邮件）	org.apache.tika.parser.mbox	MobXParser
Cad格式	org.apache.tika.parser.dwg	DWGParser
FontFormats	org.apache.tika.parser.font	TrueTypeParser
可执行程序和库	org.apache.tika.parser.executable	ExecutableParser

解析器

public interface Parser extends Serializable {
    Set<MediaType> getSupportedTypes(ParseContext var1);

    void parse(InputStream var1, ContentHandler var2, Metadata var3, ParseContext var4) throws IOException, SAXException, TikaException;
}

接口说明

参数	说明
InputStream	待解析的文档，以字节流形式传入，可以避免tika占用太多内存
ContentHandler	内容处理器，用来收集结果，Tika会将解析结果包装成XHTML SAX event进行分发，通过ContentHandler处理这些event就可以得到文本内容和其他有用的信息
Metadata	元数据，既是输入也是输出，可以将文件名或者可能的文件类型传入，tika解析时可以根据这些信息判断文件类型，再调用相应的解析器进行处理；另外，tika也会将一些额外的信息保存到Metadata中，如文件修改日期，作者，编辑工具等
ParseContext	解析上下文，用来控制解析过程，比如是否提取Office文档里面的宏等

tika的解析类的相关接口和类的UML模型

SpringBoot集成简单使用

添加依赖

        <dependency>
            <groupId>org.apache.tika</groupId>
            <artifactId>tika-core</artifactId>
            <version>2.8.0</version>
        </dependency>
        <dependency>
            <groupId>org.apache.tika</groupId>
            <artifactId>tika-parsers-standard-package</artifactId>
            <version>2.8.0</version>
        </dependency>
        <dependency>
            <groupId>commons-io</groupId>
            <artifactId>commons-io</artifactId>
            <version>2.11.0</version> <!-- 请根据需要选择合适的版本 -->
        </dependency>

简单使用

public class TikiService {

    public static void main(String[] args) throws Exception {
        //创建解析器--在不确定文档类型时候可以选择使用AutoDetectParser可以自动检测一个最合适的解析器
        //如果确定可以使用确定的一个
        //PDFParser pdfParser = new PDFParser();
        //XMLParser xmlParser = new XMLParser();
        //OfficeParser officeParser = new OfficeParser();
        //........................
        Parser parser = new AutoDetectParser();
        //用于捕获文档提取的文本内容。-1 参数表示使用无限缓冲区,解析到的内容通过此hander获取
        BodyContentHandler bodyContentHandler = new BodyContentHandler(-1);
        //元数据对象，它在解析器中传递元数据属性---可以获取文档属性
        Metadata metadata = new Metadata();
        //带有上下文相关信息的ParseContext实例，用于自定义解析过程。
        ParseContext parseContext = new ParseContext();
        
        File file = new File("C:\\Users\\cc\\study\\12.docx");
        FileInputStream fileInputStream = new FileInputStream(file);
        parser.parse(fileInputStream,bodyContentHandler,metadata,parseContext);
        //获取文本
        System.out.println(bodyContentHandler.toString());
        //元数据信息
        String[] names = metadata.names();
        for (String name : names) {
            System.out.println(name);
        }
    }

}

支持解析模块