多个优秀的OCR算法解读

最新推荐文章于 2024-08-31 00:35:44 发布

无人不智能，机器不学习

最新推荐文章于 2024-08-31 00:35:44 发布

阅读量1.3w

点赞数 13

分类专栏：算法深度学习 python

本文链接：https://blog.csdn.net/qidailiming1994/article/details/102944345

版权

这篇博客详细解读了多个OCR算法，包括ICCV2019的端到端文字识别、FOTS的文本检测与识别、TextBoxes++、PSENet文本检测和云从科技的Pixel-Anchor。这些算法解决了自然场景中任意形状文本识别和检测的问题，通过端到端训练、RoI Masking、多尺度特征融合等创新方法提高了识别精度。特别是Pixel-Anchor，结合了像素分割和锚点检测的优势，适应不同长度的文本检测，尤其适合中文文本处理。

摘要由CSDN通过智能技术生成

算法1：ICCV2019 End-to-End Text Spotting

端到端任意形状的场景文字识别解读

这篇文章是谷歌发表再2019ICCV上面的一篇文章，主要解决了自然场景下任意形状的文字识别问题，而且是一种端到端的方法。
端到端文本识别（End-to-End Text Spotting）是将文本阅读问题看成一个整体来解决，其基本思想是设计一个同时具有检测单元和识别单元的模型，共享其中两者的CNN特征，并联合训练。在推断阶段，此端到端模型可以在一个前向传播中预测场景图像中的文本位置和内容信息。

一.原理简介

首先整体框架图如下图所示。
在这里插入图片描述
总体上，模型由3个单元和RoI Masking组成，3个单元分别是Backbone（CNN特征提取单元)，Detector（检测单元），Recognizer（识别单元），其中RoI Masking是本文提出的Detector与Recognizer的一种交互模式。
1.在backbone模块中引入Atrous Convolutions使其有效的Output Stride为8，作用是提供Dense Feature的同时可以维持较大的Receptive Field，便于捕获自然场景中尺寸上有巨大变化的文本信息。这个Backbone产生的特征会共享给Detector和Recognizer作为其输入。
2.在检测单元这一部分中，作者采用了mask rcnn，作为了检测器，和mask rcnn不同的主要有两点：（1）在第二阶段的cls head是有无文本二分类，（2）与cls head相应，mask prediction head输出通道数是2，分别是background还是text分割的binary。
3.关于Recognizer，由于前述的RoI Masking并没有对特征进行矫正，故CTC-based方法并不适用，据此，作者借鉴了Bahdanau-style的Attention思路来识别文本，如Fig2所示。Recognizer的主要思想是由一个LSTM-Decoder来依次预测各个字符，直到预测类别为End-of-Sequence(EOS)才停止。其中，LSTM每个Step的输入是由上一个隐含层状态.Context Vector就是Attention机制的输出表征，其实质是Flattened Image Feature h的加权和
4.关于多尺度特征融合和RoI Masking，作者指出Stride 8的特征对于Text Detection是足够的，但对于Text Recognition这个较细粒度的任务则需要更密集的特征，因此，作者引入了多尺度特征融合的方法来加强输入到Recognizer的特征。具体来说，作者将Backbone中的Stride 8和Stride 4的特征按照Feature Pyramid Network[5]的思路进行了两个尺度的融合，可参考Fig1红色虚线框的前半部。另外，本文指出目前End-to-End识别方法存在的一个问题是Detector和Recognizer的交互模式，例如[6]和[8]中是分别使用了RoI Transforms和RoI Rotate去对Rotated Rectangles或Quadrilaterals的文本实例特征进行矫正，这样的交互模式对于直线文本情况是适用的，但往往会失效于曲线文本。因此，作者提出了新的交互模式RoI Masking，具体流程是先由Detector产生的Axis-aligned Bounding Box用来截取特征，然后将这些Cropped Out Feature和Instance Segmentation Mask（Inference阶段由Mask Branch预测得）相乘，最后经过Resize后再送到Attentio