《Look More Than Once（LOMO）：An Accurate Detector for Text of Arbitrary Shapes》论文笔记

代码地址：暂无

1. 概述

导读：这篇文章提出的文本检测算法（LOMO）主要致力于去解决极端长文本与任意形状的文本检测问题，这篇文章处理文本区域表达的时候会处理多次（体现于IRM模块），也对应文章标题的Look More Than Once。这篇文章的检测算法主要由直接回归单元（direct regressor，DR）（源于EAST）、迭代优化模块（iterative refinement module，IRM）与任意形状表达模块（shape expression module，SEM）三部分组成。DR生成一个文本区域的四边形检测框；IRM模块通过先前会对四边形检测框提取的特征块进行迭代优化，从而逐渐感知到整个长文本；SEM模块结合文本区域的几何特征在IRM模块的基础上重建更加精准的文本区域表达，包括文本的区域、文本中心线以及边界的偏移量；

现有的文本检测方法存在CNN感受野不足（实际感受野小于理论值）与文本区域表达存在限制的问题，具体见图1所示

在图1（a）中每个虚线网络代表的是对应点出的感受野，可以看出对于那种横贯整个图像的文本CNN是很难一次性全部捕获的，对此文章是从局部到整体逐步优化实现的。在图1（b）中展示的是文本表达能力的限制，扭曲形状更适合扭曲文本表达的形式。

对于上面提到的两个问题，文章中的算法通过IRM与SEM模块进行解决。对于长文本的检测，IRM会在DR四边形检测结果的基础上多次回归与GT对应的坐标，依赖于位置的attention机制，IRM可以感受这些位置信息，从而优化整个输入区域。

对于任意形状的文本，这里借鉴了Mask RCNN与TextSnake的机制使用文本中心线与对应偏移量的形式来表示一个文本。

文章的主要贡献：

• 1）提出了一个迭代优化模块IRM去优化长文本的检测；
• 2）提出了SEM模块适应任意形状的文本检测；
• 3）文章提出的检测算法是端到端的并且在现有的多个数据集上表现为state-of-the-art；

2. 方法设计

2.2 网络结构

文章的网络结构backbone选用的是ResNet-50，使用FPN将stage2~5的特征融合起来，得到分辨率为原始输入图尺寸$\frac{1}{4}$的特征图，通道为128。

对于DR部分直接是参考EAST中的回归方法，由于感受野的关系得到的检测结果并不能很好包含文本区域，见图2（2）所示。之后IRM模块在DR输出的基础上进行迭代优化使得检测框与GT接近。之后SEM模块中去学习文本的中心线与边界的偏移，从而得到任意形状文本的检测结果。

文章的网络结构backbone选用的是ResNet-50，使用FPN将stage2~5的特征融合起来，得到分辨率为原始输入图尺寸$\frac{1}{4}$的特征图，通道为128。

对于DR部分直接是参考EAST中的回归方法，由于感受野的关系得到的检测结果并不能很好包含文本区域，见图2（2）所示。之后IRM模块在DR输出的基础上进行迭代优化使得检测框与GT接近。之后SEM模块中去学习文本的中心线与边界的偏移，从而得到任意形状文本的检测结果。其网络结构见下图所示：

2.2 DR模块

在DR模块中将文本与非文本的二分类问题转换为了二值分割问题，并使用了尺度不变的dice-coefficient作为损失函数，其定义为：