Apache Tika介绍及简单使用

最新推荐文章于 2024-08-10 17:53:55 发布
最新推荐文章于 2024-08-10 17:53:55 发布
阅读量1.6k 收藏 6
点赞数 1
分类专栏： 大数据知识 文章标签： apache 开发语言
原文链接：https://blog.csdn.net/weixin_42184707/article/details/91045592
版权 
转载专用：
        读到了好文章，用于分享收藏，侵权删。
        转发自大佬：zhao_pq，https://blog.csdn.net/weixin_42184707/article/details/91045592

最近在处理数据集成的一些东西，在非结构化文件的元数据集成这里需要引入一些工具，Tika很合适，来研究研究。

1、Tika应用层架构

应用程序员可以很容易地在他们的应用程序集成Tika。Tika还提供了一个命令行界面和图形用户界面，在日常用或者说试验功能时，就感觉很人性化。

Tika架构是有四个重要模块构成：

  1. 语言检测机制
  2. MIME检测机制
  3. Parser接口
  4. Tika Facade 类

1.1 语言检测机制

每当一个文本文件被传递到Tika，它将检测在其中的语言。它接受没有语言的注释文件和通过检测该语言添加在该文件的元数据信息。

支持语言识别，Tika 有一类叫做语言标识符在包org.apache.tika.language及语言识别资料库里面包含了语言检测从给定文本的算法。Tika 内部使用N-gram算法语言检测。

1.2 MIME检测机制

Tika可以根据MIME标准检测文档类型。Tika默认MIME类型检测是使用org.apache.tika.mime.mimeTypes。它使用org.apache.tika.detect.Detector接口大部分内容类型检测。

内部Tika使用多种技术，如文件匹配替换，内容类型提示，魔术字节，字符编码，以及其他一些技术。

1.3 解析器接口

org.apache.tika.parser解析器接口是Tika解析文档的主要接口。该接口从提取文档中的文本和元数据，并总结了其对外部用户愿意写解析器插件。

采用不同的具体解析器类，具体为各个文档类型，Tika 支持大量的文件格式。这些格式的具体类不同的文件格式提供支持，无论是通过直接实现逻辑分析器或使用外部解析器库。

1.4 Tika Facade 类

使用的Tika facade类是从Java调用Tika的最简单和直接的方式，而且也沿用了外观的设计模式。可以在 Tika API的org.apache.tika包Tika 找到外观facade类。

通过实现基本用例，Tika作为facade的代理。它抽象了的Tika库的底层复杂性，例如MIME检测机制，解析器接口和语言检测机制，并提供给用户一个简单的接口来使用。

2、Tika的特点

统一解析器接口：Tika封装在一个单一的解析器接口的第三方解析器库。由于这个特征，用户逸出从选择合适的解析器库的负担，并使用它，根据所遇到的文件类型。

低内存占用：Tika因此消耗更少的内存资源也很容易嵌入Java应用程序。也可以用Tika平台像移动那样PDA资源少，运行该应用程序。

快速处理：从应用连结内容检测和提取可以预期的。

灵活元数据：Tika理解所有这些都用来描述文件的元数据模型。

解析器集成：Tika可以使用可在单一应用程序中每个文件类型的各种解析器库。

MIME类型检测：Tika可以检测并从所有包括在MIME标准的媒体类型中提取内容。

语言检测：Tika包括语言识别功能，因此可以在一个多语种网站基于语言类型的文档中使用。

3、Tika的功能

Tika支持多种功能：

  1. 文档类型检测
  2. 内容提取
  3. 元数据提取
  4. 语言检测

了解到，新版本的Tika与其他库集成了更高级的功能，有：

  1. 计算机视觉Computer vision：例如生成图像说明；
  2. 机器学习（ML）Machine learning （ML）：集成机器学习工具，如TensorFlow和Mahout；
  3. 自然语言处理（NLP）Natural language processing （NLP）：自然语言处理工具集成，如OpenNLP和NLTK。

3.1 文件类型检测

Tika使用不同的检测技术，检测给它的文件的类型。

3.2 内容提取

Tika有一个解析器库，可以分析各种文档格式的内容，并提取它们。然后检测所述文档的类型，它从解析器库选择的适当的分析器，并传递该文档。不同类别的Tika方法来解析不同的文件格式。

3.3 元数据提取

随着内容，Tika提取具有相同的程序的文件的元数据中的内容的提取。对于某些文件类型，Tika有接口类提取元数据。

3.4 语言检测

在内部，Tika如下像一个n-gram算法来检测所述内容的语言的给定文档中。Tika取决于类，如语言识别和Profiler的语言识别。

4、Tika环境配置

4.1 系统要求

JDKJava SE 2 JDK 1.6 及以上
内存1 GB RAM (推荐)
磁盘无最小要求
OSWindows XP 及以上，Linux

Maven依赖

<dependency>
            <groupId>org.apache.tika</groupId>
            <artifactId>tika-parsers</artifactId>
            <version>1.17</version>
 </dependency>

Tika图形操作界面

下载 tika-app-1.21.jar

下载地址：tika-app-2.9.2.jaricon-default.png?t=N7T8https://mirrors.tuna.tsinghua.edu.cn/apache/tika/2.9.2/tika-app-2.9.2.jar

运行

运行 java -jar tika-app-2.9.2.jar ，如下图

在GUI上，点击open打开，浏览并选择一个文件，该文件将被提取，或将其拖动到窗口的空白。

Tika 提取的文件的内容，并在五个不同的格式显示出来，即。元数据、格式化文本、纯文本、主要内容、结构化文本和JSON格式。

5、Tika支持的文件格式

下面的表显示了Tika支持的文件格式。

文件格式类库Tika中的类
XMLorg.apache.tika.parser.xmlXMLParser
HTMLorg.apache.tika.parser.htmll and it uses Tagsoup LibraryHtmlParser
MS-Office compound document Ole2 till 2007 ooxml 2007 onwardsorg.apache.tika.parser.microsoft
org.apache.tika.parser.microsoft.ooxml and it uses Apache Poi library		OfficeParser(ole2)
OOXMLParser(ooxml)
OpenDocument Format openofficeorg.apache.tika.parser.odfOpenOfficeParser
portable Document Format(PDF)org.apache.tika.parser.pdf and this package uses Apache PdfBox libraryPDFParser
Electronic Publication Format (digital books)org.apache.tika.parser.epubEpubParser
Rich Text formatorg.apache.tika.parser.rtfRTFParser
Compression and packaging formatsorg.apache.tika.parser.pkg and this package uses Common compress libraryPackageParser and CompressorParser and its sub-classes
Text formatorg.apache.tika.parser.txtTXTParser
Feed and syndication formatsorg.apache.tika.parser.feedFeedParser
Audio formatsorg.apache.tika.parser.audio and org.apache.tika.parser.mp3AudioParser MidiParser Mp3- for mp3parser
Imageparsersorg.apache.tika.parser.jpegJpegParser-for jpeg images
Videoformatsorg.apache.tika.parser.mp4 and org.apache.tika.parser.video this parser internally uses Simple Algorithm to parse flash video formatsMp4parser FlvParser
java class files and jar filesorg.apache.tika.parser.asmClassParser CompressorParser
Mobxformat (email messages)org.apache.tika.parser.mboxMobXParser
Cad formatsorg.apache.tika.parser.dwgDWGParser
FontFormatsorg.apache.tika.parser.fontTrueTypeParser
executable programs and librariesorg.apache.tika.parser.executableExecutableParser

6、java整合Tika实现文件解析

6.1 Tika文件类型检测

public static String getFileType(){
    try {
        File file = new File("D:\\111.zip");
        Tika tika = new Tika();
        String fileType = tika.detect(file);
        if (fileType != null && fileType.contains("/")) {
            fileType = fileType.substring(fileType.indexOf("/") +1);
        }
        return fileType;
    } catch (Exception e) {
        e.printStackTrace();
    }
    return "";
}

6.2 Tika内容提取

public static String getContext(){
    try {
        File file = new File("sample.txt");
        Tika tika = new Tika();
        String filecontent = tika.parseToString(file);
        System.out.println("Extracted Content: " + filecontent);
        return filecontent;
    } catch (Exception e) {
        e.printStackTrace();
    }
    return "";
}

6.3 Tika元数据提取

public static String parsePdf(){
    try {
        BodyContentHandler handler = new BodyContentHandler();
        Metadata metadata = new Metadata();
        FileInputStream inputstream = new FileInputStream(new File("D:\\111.pdf"));
        ParseContext pcontext = new ParseContext();
        //parsing the document using PDF parser
        PDFParser pdfparser = new PDFParser();
        pdfparser.parse(inputstream, handler, metadata,pcontext);
        //getting the content of the document
        System.out.println("Contents of the PDF :" + handler.toString());
        // 元数据提取
        System.out.println("Metadata of the PDF:");
        String[] metadataNames = metadata.names();
        for(String name : metadataNames) {
            System.out.println(name+ " : " + metadata.get(name));
        }
    } catch (Exception e) {
        e.printStackTrace();
    }
    return "";
}

6.4 Tika语言检测

public static String LanguageDetection() {
    try {
        Parser parser = new AutoDetectParser();
        BodyContentHandler handler = new BodyContentHandler();
        Metadata metadata = new Metadata();
        FileInputStream content = new FileInputStream(new File("D:\\111.zip"));
        //Parsing the given document
        parser.parse(content, handler, metadata, new ParseContext());
        LanguageIdentifier object = new LanguageIdentifier(handler.toString());
        System.out.println("Language name :" + object.getLanguage());
        return  object.getLanguage();
    } catch (Exception e) {
        e.printStackTrace();
    }
    return "";
}

6.5 Tika提取pdf文件

public static String parsePdf(){
    try {
        BodyContentHandler handler = new BodyContentHandler();
        Metadata metadata = new Metadata();
        FileInputStream inputstream = new FileInputStream(new File("D:\\1111.pdf"));
        ParseContext pcontext = new ParseContext();
        //parsing the document using PDF parser
        PDFParser pdfparser = new PDFParser();
        pdfparser.parse(inputstream, handler, metadata,pcontext);
        //getting the content of the document
        System.out.println("Contents of the PDF :" + handler.toString());
        // 元数据提取
        System.out.println("Metadata of the PDF:");
        String[] metadataNames = metadata.names();
        for(String name : metadataNames) {
            System.out.println(name+ " : " + metadata.get(name));
        }
    } catch (Exception e) {
        e.printStackTrace();
    }
    return "";
}

6.6 Tika提取文本文档

public static String parseTxt(){
    try {
        BodyContentHandler handler = new BodyContentHandler();
        Metadata metadata = new Metadata();
        FileInputStream inputstream = new FileInputStream(new File("D:\\example.txt"));
        ParseContext pcontext=new ParseContext();
        //Text document parser
        TXTParser  TexTParser = new TXTParser();
        TexTParser.parse(inputstream, handler, metadata,pcontext);
        System.out.println("Contents of the document:" + handler.toString());
        return handler.toString();
    } catch (Exception e) {
        e.printStackTrace();
    }
    return "";
}

6.7 Tika提取excel内容

public static String parseExcel(){
    try {
        BodyContentHandler handler = new BodyContentHandler();
        Metadata metadata = new Metadata();
        FileInputStream inputstream = new FileInputStream(new File("D:\\111.xlsx"));
        ParseContext pcontext=new ParseContext();
        OOXMLParser msofficeparser = new OOXMLParser ();
        msofficeparser.parse(inputstream, handler, metadata,pcontext);
        System.out.println("Contents of the document:" + handler.toString());
        return handler.toString();
    } catch (Exception e) {
        e.printStackTrace();
    }
    return "";
}

6.8 Tika提取word内容

Tika-1.*最高支持2007及更低版本的Office Word文档，如果是高于2007版本的Word文档需要使用POI处理（Tika会报错）。

public static String readWord(InputStream is ,boolean doc) {
        String buffer = "";
        try {
            if (doc) {
              //根据文件后缀进判断分支，.doc和.docx使用的方法不一样
                BodyContentHandler handler = new BodyContentHandler(1024 * 1024 * 10);//设置文档大小，避免文件太大Tika报错，默认大小就是1024*1024*10
                Metadata metadata = new Metadata();
                ParseContext pContext = new ParseContext();
                Parser msOfficeParser = new OfficeParser();
                msOfficeParser.parse(is , handler , metadata , pContext);
                buffer = handler.toString();
                is.close();
            } else {
                Tika tika = new Tika();
                buffer = tika.parseToString(is);
                is.close();
            }
        } catch (Exception e) {
            throw new RRException("读取文件失败，请用Microsoft Word另存为之后再上传");
        }
        return buffer;
    }

承缘丶
关注
专栏目录
spring boot + Apache tika 实现文档内容解析
qq_43672627的博客
07-05 2844
Apache tika是Apache开源的一个文档解析工具。Apache Tika可以解析和提取一千多种不同的文件类型(如PPT、XLS和PDF)的内容和格式，并且Apache Tika提供了多种使用方式，既可以使用图形化操作页面（tika-app），又可以独立部署（tika-server）通过接口调用，还可以引入到项目中使用。 本文演示在spring boot 中引入tika的方式解析文档。如下： 引入依赖 在spring boot 项目中引入如下依赖: <dependencyManagemen
tika-example:使用Apache Tika进行文件类型检测
05-10
提卡示例 使用Apache Tika进行文件类型检测 使用检测项目中文件的类型（csv，xml等）。 一个有关我的即将发布的博客文章的项目。
文件解析的终极工具：Apache Tika
我码玄黄的博客
07-22 1486
ApacheTika是开源的跨平台库，用于检测、提取和解析多种文件格式元数据，支持文档、图片、音频和视频等。广泛应用于搜索引擎、内容管理系统、数据分析等，可提取文档内容用于文本分析、情感分析等。
Apache Tika 实现Pdf、docx、xml等文件内容提取
最新发布
m0_73363097的博客
08-10 1425
什么是Apache Tika？
【Tika基础教程之一】Tika基础教程
apple01010105的博客
06-22 534
一、快速入门 1、Tika是一个用于文本解释的框架，其本身并不提供任何的库用于解释文本，而是调用各种各样的库，如POI，PDFBox等。 使用Tika，可以提取文件中的作者、标题、创建时间、正文等内容，相比于java.io自带的一些功能（如FileInputStream,FIleReader,Scanner等）： （1）若文档为纯文本，如txt，html，j...
内容解析工具：TIKA
iteye_4062的博客
06-10 348
一、TIKA是什么           它是这样的一个工具集：使用已有的各种解析库（parser libraries），从各种类型的文档中，探测、抽取其中的头数据（metadata）和结构化文本内容。   二、TIKA的作用          1.能识别文档类型、编码、语言、其他属性        2.抽取文档内容   三、获取TIKA          1.得到TIKA...
Apache tika -- 解析多种类型（word、pdf、txt 等）文件！
Open source of memory
08-15 878
apache 是个伟大的组织。 在lucene 检索 如火如荼时， apache不忘继续努力，近期提供了对各种格式文件进行解析的解决方案 -- apache旗下的tika. 虽然还没有1.0版  ， 但已经很好用： /** * 解析各种类型文件 * @param 文件路径 * @return 文件内容字符串 */ public static String parse...
Apache Tika入门
qgnczmnmn的博客
06-03 5365
文章目录1、基本介绍2、Tika使用2.1、解析器接口（The Parser interface）2.1.1、自定义Parser类2.2、检测器接口2.3、Tika配置 1、基本介绍 Apache Tika（文本分析工具包）能够检测并提取来自上千种不同文件类型(如PPT、XLS和PDF)的元数据和文本；所有这些文件类型都可以通过一个接口进行解析，这使得Tika在搜索引擎索引、内容分析、翻译等方面非常有用。 2、Tika使用 介绍下Tika在Maven项目中的使用，首先介绍下Tika相关的两个Maven依赖：
Tika 的安装与使用
Java陈小白
04-24 5771
在本文中，我们介绍了 Apache Tika 工具和它在 Java 编程中的使用，包括如何安装和配置 Tika，并使用 Tika 来获取文件类型、获取文件拓展名、解析文档内容、提取元数据以及解析 PDF 文件。这些功能可以帮助我们更好地处理文件和文档，提高编程的效率和可靠性。
Apache Tika:通用的内容分析工具
架构设计
01-19 926
项目介绍 Tika是一个内容分析工具，自带全面的parser工具类，能解析基本所有常见格式的文件，得到文件的metadata，content等内容，返回格式化信息。总的来说可以作为一个通用的解析工具。特别对于搜索引擎的数据抓去和处理步骤有重要意义。 Tika是一个目的明确，使用简单的apache的开源项目。下图是Tika诞生的一个历史过程。 Tika项目之初来源于Nutch项目(大家应该...
Apache Tika
weixin_33834628的博客
09-10 205
Tika是一个内容抽取的工具集合(a toolkit for text extracting)。它集成了POI, Pdfbox 并且为文本抽取工作提供了一个统一的界面。其次，Tika也提供了便利的扩展API，用来丰富其对第三方文件格式的支持。在当前的0.2-SNAPSHOT版本中， Tika提供了对如下文件格式的支持: PDF - 通过Pdfbox MS-* - 通过POI HTML -...
apache tika检测文件是否损坏的方法
09-14
下面是一个简单的Java代码示例，演示如何使用Apache Tika检测文件是否损坏： ```java import org.apache.tika.Tika; public class FileIntegrityCheck { public static void main(String[] args) { try { // ...
使用Eclipse构建Apache-tika项目
04-04
**使用Eclipse构建Apache Tika项目** Apache Tika是一个开源的、强大的内容分析库，它能够从各种文件格式中抽取元数据和结构化文本。在Java环境中，Eclipse是一款广泛使用的集成开发环境（IDE），非常适合用于构建...
java tika 读取文件_【apache tika】apache tika获取文件内容(与FileUtils的对比)
weixin_26876073的博客
02-24 1186
Tika支持多种功能：文档类型检测 内容提取 元数据提取 语言检测重要特点:统一解析器接口：Tika封装在一个单一的解析器接口的第三方解析器库。由于这个特征，用户逸出从选择合适的解析器库的负担，并使用它，根据所遇到的文件类型。低内存占用：Tika因此消耗更少的内存资源也很容易嵌入Java应用程序。也可以用Tika平台像移动那样PDA资源少，运行该应用程序。快速处理：从应用连结内容检测和提取可以预期...
Spring Boot(七十九)：SprngBoot整合Apache tika做文件类型检测
u013938578的博客
07-08 576
下面我们介绍Apache tika实现文件类型检测。
Spring Boot + Apache Tika 实现文档内容解析
学IT，找陈寒
06-22 1724
本文详细介绍了如何利用 Spring Boot 和 Apache Tika 实现文档内容解析功能。通过整合 Apache Tika，开发者可以轻松地处理和提取各种文档格式中的文本内容和元数据，为应用程序添加强大的文档处理能力。希望本文能够帮助开发者更好地理解和应用文档解析技术，提升应用程序的功能和用户体验。继续保持对新技术的探索和实践，相信你会在开发过程中不断积累经验和技能。如果你有任何问题或建议，欢迎在评论区留言讨论。
SpringBoot整合Tika实现对文件类型校验和元数据读取
weixin_42324005的博客
07-16 818
Tika是Apache下开源的文档处理工具，支持多种格式文件的内容解析，主要功能包括文档类型检测、内容提取、元数据提取、语言检测。Tika是一个具有内置解析器用于处理各种文档类型的程序框架。该框架公布了标准的API供应用程序调用并完成从文档中提取文本和元数据，内置解析器会在后台通过外部程序提供的API与之交互。这使得你的应用程序能够针对不同的文档类型使用相同的API。当程序需要从文档中提取文本时，Tika会找到相应的解释器。
文档向量化工具（一）：Apache Tika介绍
hugo_lei的博客
11-19 2410
Apache Tika是一个内容分析工具包。该工具包可以从一千多种不同的文件类型（如PPT、XLS和PDF）中检测并提取元数据和文本。所有这些文件类型都可以通过同一个接口进行解析，这使得Tika在搜索引擎索引、内容分析、翻译等方面非常有用。
Tika基本使用
西楚小羽的专栏
03-30 1863
Tika是一个内容抽取的工具集合(a toolkit for text extracting)。它集成了POI, Pdfbox 并且为文本抽取工作提供了一个统一的界面。其次，Tika也提供了便利的扩展API，用来丰富其对第三方文件格式的支持。 Tika提供了对如下文件格式的支持: PDF - 通过Pdfbox MS-* - 通过POI HTML - 使用nekohtml将不规范的html整
apache tika java
07-28
Apache Tika是一个开源的Java库，用于从不同的文件类型中提取文本和元数据。它能够处理各种文件格式，包括文档、电子表格、演示文稿、音频和视频文件等。 Apache Tika具有高度的灵活性和可扩展性，可用于构建各种文本分析和数据提取应用程序。它提供了一个简单易用的API，使开发人员能够快速地将其集成到现有的Java项目中。 使用Apache Tika，我们可以轻松地从各种文件中提取文本内容，从而实现自动化的文本处理和分析。例如，我们可以将Tika用于解析和提取PDF文件中的文本，或者从Word文档中提取元数据信息。Tika还支持OCR技术，可以将图像文件中的文本转换为可编辑的文本。 除了提取文本和元数据外，Apache Tika还可以处理其他文件的特定内容。它可以提取图像的大小和分辨率，提取音频文件的音频流信息，甚至可以从HTML页面中提取链接和标题。 总之，Apache Tika是一个功能强大且灵活的Java库，可以帮助我们从各种文件中提取文本和元数据。它广泛应用于信息抽取、内容分析、大数据处理等领域。无论是处理文档、媒体文件还是图像，Apache Tika提供了一种简单快速的方法来实现这些任务。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值