An end-to-end TextSpotter with Explicit Alignment and Attention

                                               An end-to-end TextSpotter with Explicit Alignment and Attention

 

Tong He;, Zhi Tian;, Weilin Huang, Chunhua Shen                                            中国科学院深圳先进技术研究院

                                                                                  2018  CVPR

 

这是一个端到端的end-to-end方法，本文的three-fold主要贡献是：

1）我们提出了一种新颖的文本对齐层，允许它以任意方向精确计算文本实例的卷积特征，这是提高性能的关键;
2）通过使用字符空间信息作为明确监督，引入字符关注机制，使识别得到很大改善;
3）两种技术以及用于字识别的新RNN分支无缝集成到可端到端训练的单个模型中。这允许两个任务通过共享卷积特征协同工作，这对于识别具有挑战性的文本实例至关重要。我们的模型在ICDAR2015 [1]数据集的端到端识别方面取得了令人瞩目的成果，显着推进了最新的结果[2]，改进了F-measure（0:54; 0:51; 0:47）到（0:82; 0:77; 0:63），分别使用强，弱和通用词典。归功于联合训练，通过在两个数据集上实现最新的最先进的检测性能，我们的方法也可以作为一个好的检测器。

最近的text detection方法通常是使用一般的目标检测器，如faster rcnn，ssd等直接进行边框回归，或者使用语义分割的方法来预测每个像素是文本/非文本来检测。

word recognition可以转化为序列标记问题，其中最近开发了卷积递归模型。其中的一些进一步与注意力机制结合，以改善性能。但是，分别训练两个任务并没有利用卷积网络的全部潜力，其中卷积特征不被共享。 如果我们清楚地理解或认识到一个词及其中所有字符的含义，我们自然会做出更可靠的决定。 此外，还可以引入许多启发式规则和超参数调整成本高昂，使整个系统变得非常复杂。

最近的MASK R-CNN将实例分割任务合并到faster R-CNN [12]检测框架中，从而产生一个多任务学习模型，它共同预测每个对象实例的边界框和分割mask。我们