复杂场景下的OCR如何实现--深度学习算法综述

作者：北京矩视智能科技有限公司

一、背景知识
文本是人类最重要的信息来源之一，自然场景中充满了形形色色的文字符号。在过去的十几年中，研究人员一直在探索如何能够快速准确的从图像中读取文本信息，也就是现在OCR技术。
工业场景下的图像文本识别更为复杂，它会出现在许多不同的情景下，如医药包装上的文字、各类钢制零部件上的字符、集装箱表面喷印的字符、商铺Logo上的个性化字符等等。

在这类图像中，文字部分可能会呈现为弯曲排列、曲面异形、倾斜分布、褶皱变形、残缺不全等多种形式，与标准字符的特征有较大出入，从而给图像文字的检测与识别带来了困难。

二、传统算法
传统OCR技术通常使用OpenCV算法库，通过图像处理和统计机器学习方法提取图像中的文字信息，用到的技术包括二值化、噪声滤除、连通域分析和Adaboost、SVM等。
按处理方式可以将传统OCR技术划分为图片预处理、文字识别、后处理三个阶段，其具体的技术流程如下表所示。

针对简单场景下的图片，传统OCR已经取得了很好的识别效果。但是从操作流程可以看出，传统方法是针对特定场景的图像进行建模的，一旦跳出当前场景，模型就会失效。随着近些年深度学习技术的迅速发展，基于深度学习的OCR技术也已逐渐成熟，能够灵活应对不同场景。

三、深度学习
目前，基于深度学习的场景文字识别主要包括两种方法，第一种是分为文字检测和文字识别两个阶段；第二种则是通过端对端的模型一次性完成文字的检测和识别。
3.1文字检测
顾名思义，文字检测就是要检测到图片中文字所在的区域，其核心是区分文字和背景。常用的文字检测算法包括以下几种：
3.1.1 CTPN [1]
CTPN是ECCV 2016提出的一种文字检测算法，由Faster RCNN改进而来，结合了CNN与LSTM深度网络，其支持任意尺寸的图像输入，并能够直接在卷积层中定位文本行。
CTPN由检测小尺度文本框、循环连接文本框、文本行边细化三个部分组成，具体实现流程为：

• 使用VGG16网络提取特征，得到conv5_3的特征图；
• 在所得特征图上使用3*3滑动窗口进