用xpdf和pdfbox来处理中文PDF文档及其比较

转自:http://emily2ly.iteye.com/blog/743552


我在以前的项目中使用的是pdfbox,在读取中文文档时可以读出大部分的文字,但是在数字、分页等地方还是不可避免的出现乱码。于是我在网上搜索,看有没有什么解决方法,看到有说法:

“PDFBox看起来非常的方便,它的API功能强大。甚至能和Lucene进行无缝的结合。但是它有一个致命的弱点,就是它不支持中文。要提取中文的文本,可以采用另一个非常出色的工具xpdf。”

于是我决定自己比较一下这两种方法处理中文pdf文档时在时间性能、读取效果等各个方面的效果。

 

一、关于XPDF和PDFBOX

1.xpdf

xpdf只是一个软件,通过java采用命令行调用,并获取输出结果,如此来说使用简单,但是相当受限,如:无法跨平台,无法处理特定格式(表格等),无法处理图片和其他附件。这种调用必定限制了它的灵活性。

2.pdfbox

pdfbox(一个BSD许可下的源码开放项目)是一个为开发人员读取和创建PDF文档而准备的纯Java类库。

 

二、XPDF的配置

1.工具包下载

这里 下载

我下载的是: xpdf-3.02pl4-win32.zip

另外还需要一个语言包: xpdf-chinese-simplified.tar.gz

2.工作路径设置

参考资料点这里

在本文中以 c:\xpdftest\xpdf 作为xpdf的工作路径。

将 xpdf-3.02p14-win32.zip 解压到 c:\xpdftest\xpdf 下。

将 xpdf-chinese-simplified.tar.gz 解压到 c:\xpdftest\xpdf\xpdf-chinese-simplified 下。

解压后的目录结构如图1所示:


3.修改配置文件

为了启用中文简体语言包,必须将 xpdf-chinese-simplified 目录下的 sample-xpdfrc 文件进行如下配置,并将其另存为xpdfrc 文件 。

注意:此文件为配置文件,而且名称必须是 xpdfrc 。如果是别的名字,即使调用 pdftotext.exe 时,传入  -cfg xpdfrc2 来告诉 xpdf 配置文件的名字,好像 pdftotext.exe 也并没有使用这个配置文件。所以为了减少误解,请您将配置文件直接命名为 xpdfrc 

  • 修改 sample-xpdfrc 文件之一

在文件后面 加上一段话 :

Txt代码   收藏代码
  1. #----- begin Chinese Simplified support package (2004-jul-27)  
  2.   
  3. cidToUnicode     Adobe-GB1  C:/xpdftest/xpdf/xpdf-chinese-simplified/Adobe-GB1.cidToUnicode  
  4.   
  5. unicodeMap ISO-2022-CN     C:/xpdftest/xpdf/xpdf-chinese-simplified/ISO-2022-CN.unicodeMap  
  6.   
  7. unicodeMap EUC-CN       C:/xpdftest/xpdf/xpdf-chinese-simplified/EUC-CN.unicodeMap  
  8.   
  9. unicodeMap GBK      C:/xpdftest/xpdf/xpdf-chinese-simplified/GBK.unicodeMap  
  10.   
  11. cMapDir      Adobe-GB1  C:/xpdftest/xpdf/xpdf-chinese-simplified/CMap  
  12.   
  13. toUnicodeDir                 C:/xpdf/chinese-simplified/CMap  
  14.   
  15. #displayCIDFontTT   Adobe-GB1  /usr/..../gkai00mp.ttf  
  16.   
  17. #----- end Chinese Simplified support package  
 

注意:路径要跟自己配置的一样。


  • 修改 sample-xpdfrc 文件之二

另外,配置文件中原先没有加上一个“ textPageBreaks ”控制。为了避免这个分页符号,我们需要在 sample-xpdfrc 文件 “text output control ”下面 加上一段话 :

Txt代码   收藏代码
  1. # If set to "yes", text extraction will  insert  page  
  2. # breaks  (form feed characters) between pages.  This  
  3. # defaults to "yes".  
  4. textPageBreaks      no  
 

设置 textPageBreaks 为 no 的意思是:在 PDF 文档的两页之间不加入分页符号。 之所以这样,是因为这个符号有时候会引起 SAX 解析 XML 上的困难。

 

 

  • 修改 sample-xpdfrc 文件之三

配置文件中原先把 textEncoding 注释了。这样默认的字符集是 Latin1 。我们必须打开它,并且就是指定 textEncoding 为UTF-8 ,而不是 GB2312 。即修改这句话 :

Txt代码   收藏代码
  1. textEncoding        UTF-8  

 

三、PDFBOX的配置

请点这里 查看PDFBOX的配置。

 

四、工程调用示范

在自己的常用工作环境下新建一个工程PdfTest,并在此工程下新建一个包pdfToText。

此包包括三个类:

TestPdfToText.java  包括Main函数,调用并测试xpdf和pdfbox对PDF文档的处理效果。

PdfboxToText.java   用pdfbox来处理PDF文档。

XpdfToText.java       用xpdf来处理PDF文档。

目录结构如图2所示:


在C盘根目录下有061231.pdf,在工程中相应设置路径进行测试,以下是源代码 :

TestPdfToText.java

Java代码   收藏代码
  1. package pdfToText;  
  2. /** 
  3.  * 功能描述:测试用XPDF和PDFBOX来读取中文PDF文件生成TXT文件的效果 
  4.  * @author Emily 
  5.  * @Create 2010-03-07 
  6.  */  
  7. public class TestPdfToText {  
  8.   
  9.     /** 
  10.      * @param args 
  11.      */  
  12.     public static void main(String[] args) {  
  13.         String rootPath = "c:\\061231";  
  14.         //pdf文件路径  
  15.         String pdffile = rootPath + ".pdf";  
  16.         //用xpdf生成的txt文件路径  
  17.         String xpdfToTxtfile = rootPath + "_xpdf.txt";  
  18.         //用pdfbox生成的txt文件路径  
  19.         String pdfboxToTxtfile = rootPath + "_pdfbox.txt";  
  20.         //XPDF  
  21.         try{  
  22.             long begin = System.currentTimeMillis();   
  23.             XpdfToText xpToTxt = new XpdfToText(pdffile);  
  24.             xpToTxt.toTextFile(xpdfToTxtfile);  
  25.             long end = System.currentTimeMillis();   
  26.             System.out.println("xpdf\t cost:\t" + (end - begin) + " ms");  
  27.         }catch(Exception e){  
  28.             e.printStackTrace();  
  29.         }  
  30.         //PDFBOX  
  31.         try{  
  32.             long begin = System.currentTimeMillis();  
  33.             PdfboxToText pbToTxt = new PdfboxToText(pdffile);  
  34.             pbToTxt.toTextFile(pdfboxToTxtfile);  
  35.             long end = System.currentTimeMillis();   
  36.             System.out.println("pdfbox\t cost:\t" + (end - begin) + " ms");  
  37.         }catch(Exception e){  
  38.             e.printStackTrace();  
  39.         }  
  40.         
  41.     }  
  42. }  

PdfboxToText.java

 

Java代码   收藏代码
  1. package pdfToText;  
  2.   
  3. import java.io.BufferedWriter;  
  4. import java.io.File;  
  5. import java.io.FileInputStream;  
  6. import java.io.FileNotFoundException;  
  7. import java.io.FileWriter;  
  8. import java.io.IOException;  
  9. import org.pdfbox.pdfparser.PDFParser;  
  10. import org.pdfbox.pdmodel.PDDocument;  
  11. import org.pdfbox.util.PDFTextStripper;  
  12.   
  13. public class PdfboxToText {  
  14.     private String filePath;  
  15.     public PdfboxToText(String filePath){  
  16.         this.filePath = filePath;  
  17.     }  
  18.     public String getTextFromPdf(){  
  19.         String result = null;  
  20.         FileInputStream is = null;  
  21.         PDDocument document = null;  
  22.         try {  
  23.             is = new FileInputStream(filePath);  
  24.             PDFParser parser = new PDFParser(is);  
  25.             parser.parse();  
  26.             document = parser.getPDDocument();  
  27.             PDFTextStripper stripper = new PDFTextStripper();  
  28.             result = stripper.getText(document);  
  29.         } catch (FileNotFoundException e) {  
  30.             e.printStackTrace();  
  31.         } catch (IOException e) {  
  32.             e.printStackTrace();  
  33.         } finally {  
  34.             if (is != null) {  
  35.                 try {is.close();}catch(IOException e){e.printStackTrace();}  
  36.             }  
  37.             if (document != null) {  
  38.                 try{document.close();}catch (IOException e){e.printStackTrace();}  
  39.             }  
  40.         }  
  41.         return result;  
  42.     }  
  43.   
  44.     public void toTextFile(String filePath){  
  45.         String pdfContent = getTextFromPdf();  
  46.         try{  
  47.             File f = new File(filePath);  
  48.             if(!f.exists()){  
  49.                 System.out.println("not exist");  
  50.                 f.createNewFile();  
  51.             }  
  52.             BufferedWriter output = new BufferedWriter(new FileWriter(f));  
  53.             output.write(pdfContent);  
  54.             output.close();  
  55.         }catch (Exception e) {  
  56.         e.printStackTrace();  
  57.         }  
  58.     }     
  59. }  
 

XpdfToText.java

Java代码   收藏代码
  1. package pdfToText;  
  2.   
  3. import java.io.File;  
  4. import java.io.IOException;  
  5.   
  6. public class XpdfToText {  
  7.     // PDF文件名  
  8.     private File pdffile;  
  9.     // 转换器的存放位置,默认在c:\xpdftest\xpdf下面  
  10.     private String CONVERTOR_STORED_PATH = "c:\\xpdftest\\xpdf\\";  
  11.     // 转换器的名称,默认为pdftotext  
  12.     private String CONVERTOR_NAME = "pdftotext";  
  13.   
  14.     // 构造函数,参数为pdf文件的路径  
  15.     public XpdfToText(String pdffile) throws IOException {  
  16.         this.pdffile = new File(pdffile);  
  17.     }  
  18.   
  19.     // 将pdf转为文本文档,参数为目标文件的路径  
  20.     public void toTextFile(String targetfile) throws IOException {  
  21.         toTextFile(targetfile, true);  
  22.     }  
  23.   
  24.     // 将pdf转为文本文档,参数1为目标文件的路径,  
  25.     // 参数2为true则表示使用PDF文件中的布局  
  26.     public void toTextFile(String targetfile, boolean isLayout)  
  27.             throws IOException {  
  28.         String[] cmd = getCmd(new File(targetfile), isLayout);  
  29.         Runtime.getRuntime().exec(cmd);  
  30.     }  
  31.   
  32.     // 获取PDF转换器的路径  
  33.     public String getCONVERTOR_STORED_PATH() {  
  34.         return CONVERTOR_STORED_PATH;  
  35.     }  
  36.   
  37.     // 设置PDF转换器的路径  
  38.     public void setCONVERTOR_STORED_PATH(String path) {  
  39.         if (!path.trim().endsWith("\\"))  
  40.             path = path.trim() + "\\";  
  41.         this.CONVERTOR_STORED_PATH = path;  
  42.     }  
  43.   
  44.     // 解析命令行参数  
  45.     private String[] getCmd(File targetfile, boolean isLayout) {  
  46.   
  47.         // 命令字符  
  48.         String command = CONVERTOR_STORED_PATH + CONVERTOR_NAME;  
  49.         // PDF文件的绝对路径  
  50.         String source_absolutePath = pdffile.getAbsolutePath();  
  51.         // 输出文本文件的绝对路径  
  52.         String target_absolutePath = targetfile.getAbsolutePath();  
  53.         // 保持原来的layout  
  54.         String layout = "-layout";  
  55.         // 设置编码方式  
  56.         String encoding = "-enc";  
  57.         String character = "GBK";  
  58.         // 设置不打印任何消息和错误  
  59.         String mistake = "-q";  
  60.         // 页面之间不加入分页  
  61.         String nopagebrk = "-nopgbrk";  
  62.         // 如果isLayout为false,则设置不保持原来的layout  
  63.         if (!isLayout)  
  64.             layout = "";  
  65.         return new String[] { command, layout, encoding, character, mistake,  
  66.                 nopagebrk, source_absolutePath, target_absolutePath };  
  67.     }  
  68. }  
 

五、测试结果和总结

1.txt文件大小

一个大小为74KB的PDF文档经处理为txt文档后,大小明显减小。

经xpdf处理后生成了10KB的txt文件。

经pdfbox处理后生成了12KB的txt文件。

 

2.时间性能

从运行结果来看,xpdf处理的速度明显大大快于pdfbox的处理速度,几乎是1/10。

如图3所示。 

3.读取效果

在设置了保持原PDF文档的布局的情况下,xpdf读取的效果如图4所示



 若不保持原PDF文的的布局,xpdf读取的效果如图5所示


经pdfbox读取的效果如图6和图7所示。



 

 4.分析总结

从以上调用结果可以发现,在时间性能和空间性能上,xpdf都明显优于pdfbox 。在最关键的读取效果上,pdfbox会自动在某些读取文字中加入一些格式,比如回车、空格等,造成了更不好的效果。至于在某些PDF文档的格式会读出乱码的情况上,两种方法读出的乱码都是比较一致的,这应该是由于这两个方法的缺陷造成的。

综上所示,如果不要求很高的移植性的话,采用xpdf应该是比较好的方法 。

回答:PDFBox是一个开源的Java库,支持PDF文档的开发和转换。使用PDFBox,可以开发用于创建、转换和操作PDF文档的Java程序。PDFBox的组件可以提供对PDF文档的各种操作功能。至于PDFBox处理中文文档方面的问题,根据引用提到的性能比较PDFBox在读取中文文档时可能会自动加入一些格式,比如回车、空格等,可能会对文字的读取效果产生不好的影响。同时,在某些PDF文档的格式会读出乱码的情况上,PDFBox也可能会遇到与其他方法相似的问题。因此,在处理中文文档时,可能需要注意这些潜在的问题。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* [PDFbox基本操作](https://blog.csdn.net/qinwenjng120/article/details/105395179)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v92^chatsearchT0_1"}}] [.reference_item style="max-width: 50%"] - *2* *3* [用xpdfpdfbox处理中文PDF文档及其比较](https://blog.csdn.net/emily2ly/article/details/83697382)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v92^chatsearchT0_1"}}] [.reference_item style="max-width: 50%"] [ .reference_list ]
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值