OCR如何读取皱巴巴的文件？深度学习在文档图像形变矫正的应用详解

阿里妹导读：OCR作为智能审核的重要环节，其识别准确率影响着最终审核效果的好坏，而来自扫描仪、智能手机的文档图像多存在卷曲、折叠。本文旨在利用深度学习算法对文档图像的形变进行矫正，从而提高OCR识别效果，为智能审核保驾护航。

 

一、背景

随着集团业务的高速发展以及集团对用户群体信用要求的提高，证件审核成为业务中必不可少的一个环节。譬如：支付宝需要对用户的身份证信息进行审核，1688需要对卖家的营业执照进行审核。此外，还有一些业务涉及的是需要专业人士才有足够能力进行审核的信用证和保单。

近年来，人工智能在越来越多的任务中的表现已经超过了人类。如果能将AI引入审核场景，实现智能审核，将大大提高审核的效率。智能审核相比人工审核具有以下优势：

而要做到高水平的智能审核，难度颇大，需要做好以下几点：

要让机器代替人去做证件审核乃至于文本审核，首先需要让机器看到人所能看到的（OCR：将文本图像转化成文本），而后才是理解人所能看到的（NLP：如纠错分词／文本分类等）。作为后面一切算法的源头，OCR算法在智能审核中起着至关重要的角色。除却算法本身，图像质量乃是影响OCR识别准确率的最大因素。一般从三个方面来衡量图像的质量：倾斜、清晰度、扭曲。而本文的目的则在于如何通过算法使得扭曲的文档图像变得平整，从而改善扭曲文档图像的OCR识别准确率，为智能审核保驾护航。

二、相关工作

2.1 传统方法

当前针对扭曲文档图像的矫正算法主要有以下三类：

• 基于硬件的扭曲文档矫正

该类方法通常使用特制的硬件设备扫描纸张的三维形状信息。比如采用结构光源来对文档进行扫描从而获取文档的三维信息即深度信息，然后根据深度信息对文档图像进行矫正。

• 基于3D模型重建的文档矫正算法

该类方法主要从造成文档扭曲的因素出发，包括文档及其摆放角度、光源方向、图像获取设备特征等因素。通过对文档进行3D建模，并利用已有的数学知识对扭曲进行矫正。

• 基于内容切分的文档矫正算法

该类算法摈弃对扭曲的几何模拟与3D建模，直接对文档图像进行分析，包括倾斜角、文本行、字符或词组特征等，然后设计出一种不受文档图像以外因素影响的扭曲矫正算法。此类算法的优点在于不需要清楚地知道扭曲造成的原因。

 

三类算法各有优点，但也都有各自的局限性，可总结为：

可以看出，传统方法多是针对特定场景进行建模，而一旦跳出当前场景，模型就无法起作用。随着深度学习的兴起，有学者提出用深度学习相关算法对扭曲文档图像进行矫正。

2.2 深度学习方法

随着深度学习近几年的兴起，有学者提出用语义分割相关的模型对扭曲文档图像进行建模，将像素级的分类问题转化为像素级的回归问题，实现扭曲文档图像的矫正，模型具有一定的泛化能力，可针对复杂场景下的扭曲或折叠图像进行矫正。

在刚刚结束不久的CVPR 2018中，Ke ma等人提出一种基于语义分割中U-net模型[1]，利用图形学方法生成逼近真实场景的扭曲文档图像，通过这些样本集训练出可实现端到端矫正的Stacked U-net网络。

深度学习的优势在于如若有足够丰富和质量高的训练样本集，其深层网络结构令其具有一定的泛化能力，可针对多种扭曲实现矫正，跳出传统方法的场景限制。

考虑到实际业务的复杂性，传统方法无法胜任，因此本文结合深度学习语义分割领域的相关知识，针对现有方法的不足提出优化方案，实现扭曲文档的矫正。

三、数据集生成

对机器学习或深度学习有一定了解的人都知道，很多时候，数据决定着你的模型能做到什么程度。而关于扭曲文档复原，一方面当前的开源数据集较少；另一方面，我们的目标是要建立能够实现像素级别回归任务的神经网络结构，这下子，开源且标注好的数据集几乎就是没有。因此，我们参考文献[1]中的方法，自行生成数据集。

3.1 扭曲文档图像生成

扭曲又分为折叠和卷曲，利用图形学相关知识，我们通过以下步骤实现了文档的折叠和卷曲：

其中，卷曲和折叠的区别是的计算公式的差异：

<