Efficient and Accurate Arbitrary-Shaped Text Detection with Pixel Aggregation Network

1. 介绍：

TextSnake和PSENet是为检测曲线而设计的文本实例，也广泛出现在自然场景中。然而，复杂的管道和大量的卷积运算，这通常会减慢他们的推理速度

像素聚集网络(PAN)，它配备了一个低计算成本的分割头和一个可学习的后处理。更具体地说，分割头由特征金字塔增强模块(FPEM)和特征融合模块(FFM)组成。FPEM是一个可级联的U形模块，它可以引入多级信息来指导更好的分割。FPEM能够通过融合低水平和高水平信息来增强不同尺度的特征，且计算开销最小。FFM可以将不同深度的FPEMs所给出的特征收集到一个最终的特征中进行分割。可学习的后处理是通过像素聚集(PA)实现的，PA可以通过预测的相似度向量精确地聚集文本像素。

为了提高效率，分段网络的主干必须是轻量级的。但是，轻量级主干通常具有较小的感受野和较弱的表征能力，提出了segmentation head，功能金字塔增强模块(FPEM)和特征融合模块(FFM)。利用特征融合模块(FFM)将不同深度的FPEMs产生的特征融合成最终的特征进行分割，该网络还预测每个文本像素的相似性向量，因此同一文本实例中像素与核的相似度向量之间的距离很小

2. 图解过程

1. backbone: ResNet-18

2. use 1×1 convolution to reduce the channel number of each feature map to 128，and get a thin feature pyramid Fr

3. nc enhanced feature pyramids F1 , F2 ,..., Fnc

4. FFM fuses the nc enhanced feature pyramids into a feature map Ff, whose stride is 4 pixels and the channel number is 512

5. Ff is used to predict text regions, kernels and similarity vectors

6. PA post-processing

3. 特征金字塔增强模块(FPEM)

1. up-scale enhancement and down-scale enhancement

2. strides of 32, 16, 8, 4 pixels and strides of 4, 8, 16, 32 pixels

3. FPEM is capable of enlarging the receptive field (3×3 depthwise convolution) and deepening the network (1×1 convolution) with a small computation overhead.(3x3扩大感受野，1x1加深计算量小的网络)

4. The FLOPS of FPEM is about 1/5 of FPN

4. 特征融合模块(FFM)

F1,F2,...Fn有不同的深度，低层和高层的语义信息对于语义分割同样重要，抛弃向上取整后concatenate(通道数4x128xnc)，减慢最终的预测速度，采取首先通过元素加法将相应的比例特征图组合起来。然后对添加后的特征映射进行上采样，并将其连接成一个只有(通道数4×128)

5. 像素聚合

借用了聚类的思想，从内核重构完整的文本实例。文本实例的内核是集群中心。文本像素是要聚类的样本。文本像素和同一文本实例的内核之间的距离很小

1. 采用聚合损失(L_agg)

第二个式子中，一个表示像素p的相似度向量，另一个表示kernel ki的相似度向量，计算方式为

2. 不同文本实例的内核应该保持足够的距离(L_dis)

不同核之间应该保持足够的距离，因此计算公式为

Ldis控制各个核之间的dis不小于3

在测试阶段，我们使用预测的相似度向量将文本区域中的像素引导到相应的核。PA后处理步骤如下：

i) 在核分割结果中寻找连通分量，每个连通分量都是一个核。
ii)对于每个内核Ki，有条件地合并其预测文本区域中的相邻文本像素(4向)其相似向量的欧氏距离小于d
iii)重复步骤ii)直到没有合格的邻居文本像素

6. Loss

Dice Loss

1. [psenet] The ground truth of the kernels is generated by shrinking original ground truth polygon， to shrink the original polygon by ratio r

2. 采用在线硬示例挖掘(OHEM)忽略计算L tex时使用简单的非文本像素，仅考虑gt中的文本像素