转载：2023年9月-10月带有开源代码的OCR论文汇总

原文链接：2023年9月-10月带有开源代码的OCR论文汇总

今天跟大家分享5篇带有开源代码的OCR领域的论文，它们都是2023年9月-10月发表的。

1.Exploring OCR Capabilities of GPT-4V(ision) : A Quantitative and In-depth Evaluation

• 论文地址：https://arxiv.org/pdf/2310.16809.pdf

• 开源代码：https://github.com/SCUT-DLVCLab/GPT-4V_OCR

本文对最近发布的GPT-4V（Large Multimodal Model，简称LMM）的光学字符识别（OCR）能力进行了综合评价，评估了该模型在一系列OCR任务中的性能，包括场景文本识别、手写文本识别、手写数学表达式识别、表结构识别和从视觉丰富的文档中提取信息的能力。

评估结果表明，GPT-4V在识别和理解拉丁语内容方面表现良好，但在多语言场景和复杂任务方面表现不太好。

基于这些观察结果，作者更深入地研究了专用OCR模型的必要性，并探讨了充分利用GPT-4V等预训练通用LMM，将其用于OCR下游任务的策略，为今后将LMM用于OCR任务的研究提供了重要的参考。

2.DocXChain: A Powerful Open-Source Toolchain for Document Parsing and Beyond

• 论文地址：https://arxiv.org//pdf/2310.12430

• 开源代码：https://github.com/AlibabaResearch/AdvancedLiterateMachinery/tree/main/Applications/DocXChain

本文提出了一个实现文档解析功能的强大开源工具链DocXChain，能自动地将非结构化文档中的丰富信息（如文本、表格和图表）转换为机器可读和可操作的结构化表示。DocXChain提供了文本检测、文本识别、表结构识别和布局分析等基本功能。

基于这些基本功能，DocXChain还实现了文档解析的整个流程，即文本读取、表解析和文档结构化，以驱动现实场景中与文档相关的各种应用程序。

此外，DocXChain具有简洁、模块化和灵活性的优点，可以很容易地与现有的工具、库或模型（如LangChain和ChatGPT）集成，以构建更强大的系统，从而完成更复杂、更具有挑战性的任务。

3.EffOCR: An Extensible, Open-Source Package for Efficiently Digitizing World Knowledge

• 论文地址：https://arxiv.org/pdf/2310.10050.pdf

• 工程主页：https://effocr.github.io/

• 开源代码（即将开源）：https://github.com/dell-research-harvard/efficient_ocr

EffOCR（EfficichentOCR）是一个全新的开源OCR工具，可满足大规模文本数字化的需求。EffOCR将OCR建模为一个字符或单词的图像检索问题，兼顾低成本训练和高效率，因为模型只需要学习字符的视觉外观，而不需要学习如何按顺序使用来形成语言。EffOCR model zoo中的模型只使用几行代码就能实现部署，包含应用于手机端的轻量级模型。

需要特别指出的是，EffOCR还允许简单、高效的样本定制，它包含一个简单的模型训练接口，由于其具有比较高的样本效率，因而只需要较少的标记需求。

EffOCR已经对2000万份美国历史报纸进行了数字化，从美国国家档案馆中随机选择文件对EffOCR评估zero-shot性能，证明了EffOCR的实用性。

4.（IJCAI2023）Orientation-Independent Chinese Text Recognition in Scene Images

• 论文地址：https://arxiv.org/pdf/2309.01081.pdf

• 开源代码：https://github.com/FudanVI/FudanOCR/tree/main/orientation-independent-CTR#orientation-independent-chinese-text-recognition-in-scene-images

场景文本识别（Scene Text Recognition，简称STR）因其应用场景广泛受到极大的关注。以往的工作更注重通过引入语言模型或其他辅助网络来处理具有复杂背景的拉丁文本图像的识别。与拉丁文不同，许多垂直中文文本存在于自然场景中，给目前最先进的STR方法带来了挑战。

本文首次尝试通过分离文本图像的内容和方向信息来提取与方向无关的视觉特征，从而在自然场景中稳定地识别水平和垂直文本。作者引入了一个字符图像重建网络（Character Image Reconstruction Network，简称CIRN）来恢复具有分离内容和方向信息的字符图像。

作者在场景数据集上进行了中文文本识别的基准实验，结果表明，该方法确实可以通过分离内容和方向信息来提高性能。为了进一步验证该方法的有效性，作者还构建一个垂直中文文本识别（Vertical Chinese Text Recognition，简称VCTR）数据集。实验结果表明，在VCTR数据集上，将CIRN引入baseline模型会有45.63%的性能提升。

5.（ICIP2023）Scene Text Recognition Models Explainability Using Local Features

• 论文地址：https://arxiv.org/pdf/2310.09549.pdf

• 开源代码：https://github.com/markytools/strexp

可解释的人工智能（Explainable AI，简称XAI）研究人类如何能够理解模型的预测，作者探索了场景文本识别（Scene Text Recognition，简称STR）的可解释性，使用XAI来理解STR的模型预测。最近关于STR的XAI文献只提供了简单分析，并没有充分探索其他XAI方法。

作者研究了数据可解释性框架，即attribution-based方法，它解释了深度学习模型中输入数据的重要部分。然而，将它们集成到STR中会产生不一致的、无效的解释，因为它们只在全局上下文中解释模型。为了解决这一问题，本文提出了一种新方法STRExp，该方法考虑了局部解释，即单个字符的预测解释。作者在不同的STR数据集上使用attribution-based方法进行基准测试，并在不同的STR模型之间进行评估。