OCR:ASTER-基于空间变换的自然场景的文本识别算法

白翔老师团队开源了 ASTER，一种基于空间变换的自然场景的文本识别算法，最开始出现于CVPR2016的论文，登上了PAMI。
它是文本识别算法，不包括文本检测，对于输入的检测到的文本图像块，识别出相应字符。

该代码值得推荐的理由：
1.高精度。
2.高速度。
3.已经申请了专利。并获得了专利授权，说明作者充分肯定了其商业化潜力。
4.包含训练代码。可以训练自己的数据集。

代码主页：https://github.com/bgshih/aster

 

方法概述

本文方法主要解决不规则排列文字的文字识别问题，论文为之前一篇CVPR206的paper（Robust Scene Text Recognition with Automatic Rectification，方法简称为RARE）的改进版（journal版）。

1. 主要思路

• 针对不规则文字，先矫正成正常线性排列的文字，再识别；
• 整合矫正网络和识别网络成为一个端到端网络来训练；
• 矫正网络使用STN，识别网络用经典的sequence to sequence + attention

2. 方法框架和流程

方法ASTER全称为Attentional Scene TExt Recognizer with Flexible Rectification，包括两个模块，一个用来矫正（rectification network），另一个用来识别（recognition work），如下图所示。

3. 文章亮点

• 效果太好了，针对普通文字和不规则文字，尤其是不规则文字
• 端到端训练 + 不需要人工标注（无需矫正网络的控制点）

方法细节

1. 背景

问题定义

本文要解决的问题是irregular text的识别问题，包括：多方向文字（oriented text）、透视形变文字（perspective text）、曲线文字（curved t