1.介绍
现代文本检测器能够捕捉各种不同挑战场景下的文本。然而,它们可能在处理极端横纵比和不同尺度时仍然检测不到文本实例
为了处理这些困难,我们在本文中提出了一个新的场景文本检测的新算法,该算法提出了一系列策略显著地提高了文本定位的质量
EAST,一个非常具有代表性的单级(one-stage)场景文字检测器,已经证实对极端横纵比的文本实例检测不行。(可以去查看一下EAST的论文)
这有两个主要原因:
1)网络的感受野受限,所以不能够足够的信息来精确预测空间扩展的长文本实例。
2)在EAST的NMS步骤,检测融合使用它们文本/非文本分类分数作为权重,这就忽视了由网络有限的感受野导致的它们质量差异,最后导致有偏差的几何估计
本文提出了一个带有定位细化的多方向场景文字检测器(MOST)。定位细化部分包括一个文本特征对齐模块(TFAM)和一个位置感知非极大抑制(PA-NMS)模块。
前者将图像特征与粗略检测结果对齐,这可以动态地调整定位预测层地感受野。另一方面,后者根据原始检测被预测的位置自适应地合并原始检测,以集中于准确的预测,同时放弃不准确的预测。
2.表现效果
特别地,它们在MLT17验证集提高了4.0%和9.5%的表现(针对不同的IoU标准),在MTW1测试集上提高了5.1%。并且,我们提出的文本检测器保持了一个简单管道,运行非常快。
本文的贡献有4个方面:
1、我们提出了TFAM,它基于粗略检测动态调整感受野。
2、提出的PA-NMS通过融合基于位置的可信预测,更加改善了检测。
3、我们介绍了实例级IoU损失来平衡不同尺度文本实例的训练。
4、我们提出的MOST达到了在快速推理速度下,SOTA或者可竞争的表现。
Bottom-up methods把场景文字检测分为两步处理:1)检测基本元素;2)聚合这些元素来产生检测结果
3.方法策略
Top-down methods通常遵循一个普通目标检测管道,并直接输出单词/文本行检测结果。这些方法可以被进一步明确成两子类。One-stage文本检测器如TextBoxes,EAST,TextBoxes++和RRD直接回归整个特征图上的文本边框参数,并使用NMS来产生最终结果。Two-stage文本检测器像Mask TextSpotter系列,正相反,遵循的MaskRCNN类型框架,通过先使用一个区域提案网络(RPN)来产生文本框,再回归对应边框参数。这些方法通常有一个相对简单的后处理算法,可以避免复杂的聚合步骤。
LOMO提出了一个可迭代细化模块(IRM)通过iterative refinement来感知整个长文字,它基于初步提案提取多倍RoI特征,组成一个多级检测器。
它基于初步提案提取多倍RoI特征,组成一个多级检测器
PA-NMS表示位置感知非极大抑制。
实验:比较SimCLR与非SimCLR进行比较
3.1有监督学习
DataSets: | public datasets of handwriten and scene text recognition. | Handwriten:IAM and CVL and French dataset RIMES |
Scene dataset: syntheic dataset SynText and test IIT5K,IC03 and IC13 |
本次工作提出一个对比性学习方法:SeqCLR,用于文本识别。将每个特征图看作是一系列的独立实例,得到 sub-word 级上的对比学习,例如每个图像提取几个正面的配对和多个负面的例子。另外,为获得有效的文本识别视觉表征,进一步提出新的增强启发式方法、不同的编码器架构和自定义投影头。
在手写文本和场景文本上的实验表明,当用学到的表征训练文本解码器时,所提出方法优于非序列对比法。此外,当监督量减少时,与监督训练相比,SeqCLR 明显提高了性能,而当用 100% 的标签进行微调时,SeqCLR 在标准手写文本识别基准上取得了最先进的结果。
3.2 位置感知非极大值抑制
文本和非文本可以有得分S(p),S(q)。并且对应权重为p(i)和q(i)
我们提出了位置感知的NMS,在合并过程中,根据方框的位置,保留检测到的方框的准确部分,同时删除不准确的部分
PA-NMS使用相应的位置感知得分的值,而不是文本/非文本分类得分,作为位置感知合并过程中框的权重,这可以帮助精确定位文字边界。
4.实验结果![](https://i-blog.csdnimg.cn/blog_migrate/df18c8438afbf0bbc0ddf734d3107962.png)
可以明显看到要么和baseline平行差不多,要么高于普遍的baseline。但是速度超过了一般的训练。
效果图