EAST算法(Efficient and Accuracy Scene Text))

1.EAST模型简介

本文介绍的文本检测模型EAST，便简化了中间的过程步骤，直接实现端到端文本检测，优雅简洁，检测的准确性和速度都有了进一步的提升。如下图：

其中，（a）、（b）、（c）、（d）是几种常见的文本检测过程，典型的检测过程包括候选框提取、候选框过滤、bouding box回归、候选框合并等阶段，中间过程比较冗长。而（e）即是本文介绍的EAST模型检测过程，从上图可看出，其过程简化为只有FCN阶段（全卷积网络）、NMS阶段（非极大抑制），中间过程大大缩减，而且输出结果支持文本行、单词的多个角度检测，既高效准确，又能适应多种自然应用场景。（d）为CTPN模型，虽然检测过程与（e）的EAST模型相似，但只支持水平方向的文本检测，可应用的场景不如EAST模型。如下图：

2.EAST模型网络结构

EAST模型的网络结构，如下图：

EAST模型的网络结构分为特征提取层、特征融合层、输出层三大部分。
下面展开进行介绍：

1、特征提取层

基于PVANet（一种目标检测的模型）作为网络结构的骨干，分别从stage1，stage2，stage3，stage4的卷积层抽取出特征图，卷积层的尺寸依次减半，但卷积核的数量依次增倍，这是一种“金字塔特征网络”（FPN，feature pyramid network）的思想。通过这种方式，可抽取出不同尺度的特征图，以实现对不同尺度文本行的检测（大的feature map擅长检测小物体，小的feature map擅长检测大物体）。这个思想与SegLink模型很像；

2、特征融合层

将前面抽取的特征图按一定的规则进行合并，这里的合并规则采用了U-net方法，规则如下：

• 特征提取层中抽取的最后一层的特征图（f1）被最先送入unpooling层，将图像放大1倍
• 接着与前一层的特征图（f2）串起来（concatenate）
  然后依次作卷积核大小为1x1，3x3的卷积
• 对f3，f4重复以上过程，而卷积核的个数逐层递减，依次为128，64，32
• 最后经过32核，3x3卷积后将结果输出到“输出层”

3、输出层

最终输出以下5部分的信息，分别是

• score map：检测框的置信度，1个参数；
• text boxes：检测框的位置（x, y, w, h），4个参数；
• text rotation angle：检测框的旋转角度，1个参数；
• text quadrangle coordinates：任意四边形检测框的位置坐标，(x1, y1), (x2, y2), (x3, y3), (x4, y4)，8个参数。
  其中，text boxes的位置坐标与text quadrangle coordinates的位置坐标看起来似乎有点重复，其实不然，这是为了解决一些扭曲变形文本行，如下图：
  
  如果只输出text boxes的位置坐标和旋转角度（x, y, w, h,θ），那么预测出来的检测框就是上图的粉色框，与真实文本的位置存在误差。而输出层的最后再输出任意四边形的位置坐标，那么就可以更加准确地预测出检测框的位置（黄色框）。
  包含若干个conv1×1操作，以将32个通道的特征图投影到1个通道的分数特征图Fs和一个多通道几何图形特征图Fg。几何形状输出可以是RBOX或QUAD中的任意一种，如表所示：
  

4.训练标签

（a）文本矩形（黄色虚线）和缩小的矩形（绿色实线）; （b）文本score 特征图; （c）RBOX框几何图; （d）每个像素到矩形边界的4个通道距离; （e）旋转角度。
一般将标注框缩小0.3比例的大小进行训练（减少标注误差），如图（a）所示；对于矩形Q，其中pi是顺时针顺序的矩形顶点。为了缩小Q，需要计算顶点之间的长度：

D(pi,pj)是pi和pj的L2距离，首先收缩一个矩形的两个较长边，然后缩小两个较短边。对于每一对边，通过比较长度的平均值来确定“较长”的一对。对于每条边，则通过将它的两个端点分别向内移动0.3ri和0.3r（i mod 4）+1来收缩。
首先，生成一个旋转矩形，以最小面积覆盖该区域；然后，对于RBOX标注框，计算每个有正分数的像素与文本框4个边界的距离；对于QUAD 标注框，计算每个有正分数的像素与文本框4个顶点的坐标偏移。

5.损失函数

损失函数公式为：

其中，Ls和Lg分别表示分数图和几何图的损失，λg表示两个损失之间的重要性（本文实验λg=1）。
目前的方法中，多数在训练图像通过均衡采样和hard negative mining，以解决目标的不均衡分布，这样做可能会提高网络性能。然而，使用这种技术不可避免地会引入一个阶段和更多的参数来调整pipeline，这与本文的设计原则相矛盾。为了简化训练过程，本文使用类平衡交叉熵(用于解决类别不平衡训练，β=反例样本数量/总样本数量)，公式如下：
其中，Y^= Fs是分数图的预测，Y是标注值。参数β是正和负样本之间的平衡因子，公式如下

文本检测的一个挑战是自然场景图像中文本的大小差别很大，而直接使用L1或L2损失进行回归会导致损失偏向较大和较长的文本区域。因此，对于RBOX回归，采用AABB部分的IoU损失。对于QUAD回归，采用scale-normalized平滑L1损失。
RBOX损失：
RBOX 对于AABB部分使用IoU损失，因为它对不同尺寸的物体是不变的：
其中R^表示预测的AABB几何形状，R是其相应的标注框。计算相交矩形的宽度和高度：

其中，d1，d2，d3和d4分别表示从一个像素到其对应矩形的顶部，右侧，底部和左侧边界的距离。并集区域公式如下：

因此，可以很容易地计算出IoU区域。接着，计算旋转角度的损失：

其中，θ^是对旋转角度的预测，并且θ*表示标注值。最后，总体几何损失是AABB损失和角度损失的加权和，公式如下：

QUAD损失：

因为本文会预测成千上万个几何框，一个简单的NMS算法的时间复杂度是O（n^2），其中n是候选框的数量，这个时间复杂度太高。所以本文提出逐行合并几何图形，假设来自附近像素的几何图形倾向于高度相关，在合并同一行中的几何图形时，将迭代合并当前遇到的几何图形与最后一个合并图形，改进后的时间复杂度为O（n）。

6.Locality-Aware NMS(局部感知NMS)

1.先对所有的output box集合结合相应的阈值（大于阈值则进行合并，小于阈值则不合并），将置信度得分作为权重加权合并，得到合并后的bbox集合
2.对合并后的bbox集合进行标准的NMS操作。

三、EAST模型效果

EAST文本检测的效果如下图，其中，部分有仿射变换的文本行的检测效果（如广告牌）


EAST模型的优势在于简洁的检测过程，高效、准确，并能实现多角度的文本行检测。但也存在着不足之处，例如（1）在检测长文本时的效果比较差，这主要是由于网络的感受野不够大；（2）在检测曲线文本时，效果不是很理想

四、Advanced EAST

为改进EAST的长文本检测效果不佳的缺陷，有人提出了Advanced EAST，以VGG16作为网络结构的骨干，同样由特征提取层、特征合并层、输出层三部分构成。经实验，Advanced EAST比EAST的检测准确性更好，特别是在长文本上的检测。

网络结构如下：

总结

在特征合并层，利用不同尺度的feature map，并通过相应的规则进行自顶向下的合并方式，可以检测不同尺度的文本行
提供了文本的方向信息，可以检测各个方向的文本
本文的方法在检测长文本的时候效果表现比较差，这主要是由网络的感受野决定的(感受也不够大)
在检测曲线文本时，效果不太理想